一次向量索引扩容的复核笔记:内存、重建、双份
复核结论先写:这次向量索引扩容,我不签。不是方向错,是三项证据没齐——内存只算了原始向量,重建窗口没留余量,双份索引的磁盘空间没落地。
下面按复核笔记的顺序记:先留基线,再对时间线,然后逐项核内存、重建、双份和回滚。文中的规模、内存和耗时都是脱敏教学示例,只说明核对方法。
示例环境:5,000,000 条 chunk、768 维、原始向量约 15.36 GB、索引约 28 GB、内存高水位约 41 GB、全量重建约 38 分钟,HNSW 参数 m=16、ef_construction=64。
一、复核对象与边界
对象是一张 RAG 知识库的向量表,准备扩容。复核范围只包括四件事:
- 容量口径是否完整;
- 重建窗口是否够用;
- 双份索引是否有空间;
- 回滚是否可执行。
性能上限、厂商选型、参数调优不在这次复核范围内。边界先写清楚,免得复核变成泛泛而谈。边界写清楚还有一个好处:复核结束时,能明确说哪些没看,而不是用一句“整体可控”盖过去。

二、先留基线
没有基线,后面所有“够用”都是感觉。基线至少留四项:
| 基线项 | 示例值 | 取数位置 |
|---|---|---|
| 索引占用 | 约 28 GB | 容量视图,按索引单列 |
| 进程峰值 | 约 41 GB | 监控高水位,取重建与跑批叠加段 |
| 全量重建耗时 | 约 38 分钟 | 上一次重建记录 |
| 复制延迟基线 | 0.6s | 重建前一段稳定窗口 |
四项要写清取数时间、统计口径和是否包含副本。索引占用是静态值,进程峰值是动态值,两者不能互相替代。
还要留增长曲线。现在的条数不是半年后的条数,按业务增量估一个区间,再把索引膨胀算进去。没有增长曲线的基线,只能证明今天够用,不能支撑扩容决策。
值班记录
现象:扩容材料只有原始向量 15.36 GB,没有索引占用、峰值和重建记录。
动作:按四项基线补数,索引与峰值分列,重建记录取最近一次完整执行。
结论:基线不齐,复核暂停;补齐后再排时间线。
三、时间线怎么排
时间线不按“重建多久”排,按“重建加失败重来加回滚”排。示例环境的重建约 38 分钟,窗口按 1.5 倍留。
| 阶段 | 动作 | 退出条件 |
|---|---|---|
| 提前一周 | 补基线、算增长、确认磁盘余量 | 四项基线有数 |
| 提前三天 | staging 空跑建索引与切表 | 每步耗时有记录 |
| 前一天 | 冻结参数、确认回滚步骤、通知相关人 | 回滚演练过 |
| 当天 | 跑批结束后开始重建 | 复制延迟低于阈值 |
| 观察期 | 对比召回与延迟,旧索引保留 | 覆盖业务日和跑批 |
时间线里要留“停”的条件。复制延迟超过 3s、磁盘余量低于安全线、长事务挡路,任一条件成立就暂停,不要边跑边判断。暂停不是失败,是把不可控的时间挪到可控的窗口里。
四、内存账:三个数不能混
原始向量 15.36 GB 是下限,索引约 28 GB 是静态占用,进程峰值约 41 GB 是运行时高水位。三个数各有各的用途:
- 15.36 GB 用来校验向量规模算得对不对;
- 28 GB 用来算磁盘和双份空间;
- 41 GB 用来申请内存和排重建窗口。
查容量时把表和索引分开:
-- 示例写法,语法因库而异
SELECT object_name, object_type, size_bytes
FROM capacity_snapshot
WHERE object_name LIKE 'doc_chunk%';
索引占用里可能混着普通字段索引,要按索引名拆开。进程峰值还要算连接、排序、缓存和副本,不能直接拿索引大小代替。
参数也要记录。m 和 ef_construction 一变,索引大小和重建耗时都会变。示例的 m=16、ef_construction=64 只是教学值,不是通用最优值;换参数要重新建一次小规模样本,别直接套旧表。
五、重建账:38 分钟不是窗口
重建要做四步:读全部向量、重算图结构、写新索引、切读路径。示例环境全量重建约 38 分钟,峰值内存约 41 GB。
示例写法,语法因库而异
重建前:确认长事务、磁盘余量、复制延迟基线
重建中:盯复制延迟、I/O、查询 p95
重建后:对比 recall 与延迟,旧索引保留观察期
在线重建各库支持不同。不支持在线的环境,就排停机窗口;支持在线的,也要接受它更慢、更吃 I/O、失败后可能留无效索引的代价。
失败重来的时间要单列。重建跑到一半失败,临时空间要清,旧索引要确认还能服务,窗口要重新排。如果窗口只剩一点余量,正确动作是停,不是加速。
值班记录
现象:重建期间复制延迟从 0.6s 升到 2.4s(示例值),查询 p95 抖动。
动作:限制重建并发,窗口挪到跑批结束后;延迟超过 3s 暂停。
结论:可继续,但附条件;业务高峰不做第二次重建。
复制延迟的阈值要在窗口前定好。0.6s 到 2.4s 是示例值,不同业务对读一致性的容忍度不同;有要求的业务,2.4s 已经足够让一部分查询读到旧数据。
六、双份账:新旧索引要同时放下
重建不是“删旧建新”。过渡期旧索引继续服务,新索引建好之后还要对比、切读、观察。磁盘上要同时放下约 28 GB 的旧索引和约 28 GB 的新索引,外加临时文件。
批量导入用 staging 接增量,校验后再切:
-- 示例写法,语法因库而异
INSERT INTO doc_chunk_staging
SELECT * FROM doc_chunk_source;
CREATE INDEX idx_doc_chunk_staging_embedding
ON doc_chunk_staging (embedding)
USING HNSW (m = 16, ef_construction = 64);
切表前把权限、外键、序列、触发器、应用连接、备份策略逐项对一遍。只改表名,不叫切表完成。
备份和副本也要算。新索引建好后,备份体积、副本同步量、恢复时间都会变;这些不在索引大小里,却会影响下一次变更的窗口。
七、回滚:写成能执行的动作
回滚不能只写“可回滚”。要写清楚谁切、切什么、怎么验证、多久确认:
示例写法,语法因库而异
回滚触发:复制延迟超过 3s,或抽样查询错误率上升
回滚动作:切回旧读路径 → 验证抽样查询 → 恢复写入 → 记录时间
回滚之后:保留新索引现场,不急着删,先查失败原因
回滚步骤要在 staging 上走过一遍。没演练过的回滚,只能算愿望。
回滚验证要用抽样查询,不要只看进程活着。抽样要覆盖高频问题和边界问题,结果和旧路径对得上,才算回滚完成。
八、复核单
| 复核项 | 要看到的证据 | 通过 | 退回或不签 |
|---|---|---|---|
| 基线 | 索引、峰值、重建耗时、复制延迟 | 四项都有数和口径 | 只有原始向量 |
| 内存 | 表、索引、峰值分列 | 峰值含重建叠加 | 用静态值代替 |
| 窗口 | 38 分钟与 1.5 倍排期 | 覆盖失败与回滚 | 按平均值卡点 |
| 双份 | 新旧索引与临时文件空间 | 能同时放下 | 建完再清盘 |
| 回滚 | 触发条件、动作、验证、确认人 | 演练过 | 只有“可回滚” |
| 观察 | recall、p95/p99、写入延迟 | 覆盖业务日和跑批 | 只看查询延迟 |
这张单子适用于有向量表、有监控、有低峰窗口的环境。任何一项没有证据,复核结论就是不签。复核不是挑错,是把证据补齐,让签字的人知道自己在签什么。
九、一条规则
复核笔记的价值不在结论,在证据链。下一次扩容,把这张单子和基线一起拿出来,能少走一遍弯路。
基线不全不排期,回滚没演练不切读,双份没空间不重建。
同样的现象可能有别的根因,欢迎带数字来讨论。

浙公网安备 33010602011771号