摘要：
本文首发至TiDB社区专栏：https://tidb.net/blog/7a8862d5 前言 继上一次《TiDB Vector抢先体验之用TiDB实现以图搜图》后，就迫不及待的想做一些更复杂的应用。上一篇在 TiDB 社区专栏发布以后还是有很多社区朋友不明白向量的应用场景到底是什么，这次用一个更直 阅读全文
posted @ 2024-06-04 19:00
balahoho
阅读(402)
评论(0)
推荐(0)
摘要：
本文首发自 TiDB 社区专栏：https://tidb.net/blog/0c5672b9 转载请注明出处！ 前言 最早知道 TiDB 要支持向量化的消息应该是在23年10月份左右，到第一次见到 TiDB Vector 的样子是在今年1月初，当时 dongxu 在朋友圈发了一张图： 去年我研究了一 阅读全文
posted @ 2024-04-23 20:33
balahoho
阅读(442)
评论(0)
推荐(2)
摘要：
从何说起 2017年初的时候，由于当时项目需要做了一个乞丐版定时调度系统，那时候只在单机上实现了核心的调度功能。做这个玩意之前也调研了社区中开源的解决方案，找了几个实地部署试跑了一下，其实都很不错。但那时候我们有个问题就是应用都是基于Azure WebApp去部署，不太想为了这个东西搞一台虚拟机来跑 阅读全文
posted @ 2020-01-09 16:30
balahoho
阅读(9152)
评论(42)
推荐(73)
摘要：
从何说起 前些天和朋友讨论一个问题，他们的应用有几十万会员然后对应有积分，现在想做积分排名的需求，问有没有什么好方案。这个问题也算常见，很多地方都能看到，常规做法一般是数据定时跑批把计算结果到中间表然后直接查表就行，或者只显示个TOP N的排行榜，名次高的计算真实名次，名次比较低的直接显示在xxx名 阅读全文
posted @ 2020-01-06 08:50
balahoho
阅读(2222)
评论(10)
推荐(34)
摘要：
传统 RAG 的局限性 经典的 RAG 架构以向量数据库（VectorDB）为核心来检索语义相似性上下文，让大语言模型（LLM）不需要重新训练就能够获取最新的知识，其工作流如下图所示： 这一架构目前广泛应用于各类 AI 业务场景中，例如问答机器人、智能客服、私域知识库检索等等。虽然 RAG 通过知识 阅读全文
posted @ 2024-10-10 19:38
balahoho
阅读(5941)
评论(2)
推荐(2)
摘要：
前置条件 包含obd和obclient的中控机 OceanBase 测试集群 独立的测试租户 BenchmarkSQL 工具（可选） 为了能够方面的查看复杂SQL的执行计划，我们先用TPCC模拟一些数据库负载。 模拟数据库负载 obd里面已经集成了tpcc测试工具，需要联网更新一下插件即可。如果机器 阅读全文
posted @ 2024-03-17 17:36
balahoho
阅读(290)
评论(0)
推荐(0)
摘要：
前置条件 MySQL 环境 OceanBase 环境 测试用的表结构和一些数据 先在源端 MySQL 用如下脚本创建测试表，以及写入10000条数据用于迁移测试。 use test; CREATE TABLE students ( `id` int NOT NULL PRIMARY KEY, `na 阅读全文
posted @ 2024-03-17 11:47
balahoho
阅读(178)
评论(0)
推荐(0)
摘要：
前置条件 OceanBase 数据库集群至少由三个节点组成，所以先准备好3台服务器： IP 配置 操作系统 x.x.x.150 Intel x86 12C 64G内存 1T SSD CentOS 7.9 x.x.x.155 Intel x86 12C 64G内存 1T SSD CentOS 7.9 阅读全文
posted @ 2024-03-14 16:48
balahoho
阅读(231)
评论(0)
推荐(1)
摘要：
前置条件 准备好一台安装了 Docker 的 Linux 服务器，确保能够连接到 Docker Hub 仓库。 执行以下命令拉取最新的 OceanBase 镜像： docker pull oceanbase/oceanbase-ce [root@localhost ~]# docker images 阅读全文
posted @ 2024-03-13 15:43
balahoho
阅读(503)
评论(0)
推荐(1)
摘要：
背景 TiDB 集群的监控面板里面有两个非常重要、且非常常用的指标，相信用了 TiDB 的都见过： Storage capacity：集群的总容量 Current storage size：集群当前已经使用的空间大小 当你准备了一堆服务器，经过各种思考设计部署了一个 TiDB 集群，有没有想过这两个 阅读全文
posted @ 2024-01-11 21:08
balahoho
阅读(162)
评论(0)
推荐(0)
摘要：
背景 最近某集群扩容了一批物理机，其中 TiKV 节点有6台机器12个实例，同时调整了 label 设置增加了一层机柜级容灾。因为前期做了比较充分的准备工作，到了变更窗口只等着执行scale-out就行，操作过程也很顺利，很快就把所有节点都扩进去了，检查完各实例的运行状态，确保region已经开始正 阅读全文
posted @ 2023-12-28 12:53
balahoho
阅读(360)
评论(1)
推荐(1)
摘要：
背景 前段时间用户反馈某生产环境 TiDB 集群 drainer 频繁发生故障，要么服务崩溃无法启动，要么数据跑着跑着就丢失了，很是折磨人。该集群跑的是离线分析业务，数据量20T ，v4版本，有多个 drainer 往下游同步数据，目标端包括kafka、file、tidb多种形态。 两天前刚恢复过一 阅读全文
posted @ 2023-11-16 16:44
balahoho
阅读(297)
评论(0)
推荐(2)
摘要：
导读：在经过了近半年的测试验证和迁移准备之后，神州金库3.0核心系统 WMS 正式从 MySQL 迁移到了分布式 HTAP 数据库 TiDB，上线后不久即经历了第一次双11的考验，TiDB的性能和稳定性表现远超预期，给后续的全平台迁移计划打下了坚实的基础。神州数码 TiDB 交付团队与科捷物流技术、 阅读全文
posted @ 2023-04-19 18:46
balahoho
阅读(478)
评论(1)
推荐(3)
摘要：
背景 早上收到某系统的告警tidb节点挂掉无法访问，情况十万火急。登录中控机查了一下display信息，4个TiDB、Prometheus、Grafana全挂了，某台机器hang死无法连接，经过快速重启后集群恢复，经排查后是昨天上线的某个SQL导致频繁OOM。 于是开始亡羊补牢，来一波近期慢SQL巡 阅读全文
posted @ 2023-03-28 18:40
balahoho
阅读(322)
评论(0)
推荐(2)
摘要：
背景 前不久从项目一线同学得到某集群的告警信息，某个时间段 TiDB duration 突然异常升高，持续时间6小时左右，需要定位到具体原因。 分析过程 第一招，初步判断 由于项目条件苛刻，历经苦难才拿到监控，在此之前只能靠现场同学的口述排查，oncall人太难了。。 既然是duration升高，那 阅读全文
posted @ 2022-12-20 17:58
balahoho
阅读(1403)
评论(2)
推荐(2)
摘要：
背景 TiDB 提供了很多种数据迁移的方式，但这些工具/方案普遍对MySQL比较友好，一旦涉及到异构数据迁移，就不得不另寻出路，借助各种开源或商业的数据同步工具。其实数据在不同系统的流转当中，有一种格式是比较通用的，那就是txt/csv这类文件，把数据用约定好的分隔符换行符等标记存放在一起，比如最常 阅读全文
posted @ 2022-10-18 12:40
balahoho
阅读(261)
评论(0)
推荐(0)
摘要：
背景 最近在给一个物流系统做TiDB POC测试，这个系统是基于MySQL开发的，本次投入测试的业务数据大概10个库约900张表，最大单表6千多万行。 这个规模不算大，测试数据以及库表结构是用Dumpling从MySQL导出，再用Lightning导入到TiDB中，整个过程非常顺利。 系统在TiDB 阅读全文
posted @ 2022-06-10 18:46
balahoho
阅读(496)
评论(0)
推荐(0)
摘要：
背景 上一篇《记一次简单的Oracle离线数据迁移至TiDB过程》说到在使用Lightning导入csv文件到TiDB的时候发现了一个bug，是这样一个过程。 Oracle源库中表名都是大写，经过前文所述的方法导入到TiDB后表名也是保持全大写，数据同步过程非常顺利。 第二天我把整套操作流程教给一位 阅读全文
posted @ 2022-03-11 23:00
balahoho
阅读(468)
评论(0)
推荐(0)
摘要：
背景 用户在做技术选型的过程中，总是会对一些数据指标比较关心，特别是在和竞品相比较的时候，更加需要一些有说服力的数据。基于MySQL开发的项目在迁移到TiDB的时候，使用DM同步数据是必不可少的一个环节，我在最近的一次POC中就碰到了这样一个需求，需要评估一个具体的延时时间参考值，因为用户在迁移前期 阅读全文
posted @ 2022-02-09 11:53
balahoho
阅读(370)
评论(0)
推荐(2)
摘要：
背景 最近在支持一个从Oracle转TiDB的项目，为方便应用端兼容性测试需要把Oracle测试环境的库表结构和数据同步到TiDB中，由于数据量并不大，所以怎么方便怎么来，这里使用CSV导出导入的方式来实现。 整个过程可以分为三个步骤： 库表结构转换 源数据导出 导入目标库 库表结构转换 众所周知T 阅读全文
posted @ 2022-01-19 21:35
balahoho
阅读(1006)
评论(0)
推荐(1)
摘要：
故事背景 前段时间上线了一个从Oracle迁移到TiDB的项目，某一天应用端反馈有一个诡异的现象，就是有张小表做全表delete的时候执行比较慢，而且有越来越慢的迹象。这个表每次删除的数据不超过20行，那为啥删20行数据会这么慢呢，我们来一探究竟。 问题排查 根据应用端提供的表名去慢查询里面搜索，确 阅读全文
posted @ 2021-12-02 18:15
balahoho
阅读(769)
评论(0)
推荐(1)
摘要：
【是否原创】是 【首发渠道】TiDB 社区 前言 分布式关系型数据库TiDB是一种计算和存储分离的架构，每一层都可以独立地进行水平扩展，这样就可以做到有的放矢，对症下药。 从TiDB整体架构图可以看到，计算层（图中的TiDB Cluster）负责与外部应用使用MySQL协议通信，每一个TiDB Se 阅读全文
posted @ 2021-10-18 11:51
balahoho
阅读(877)
评论(0)
推荐(0)