AIGC标识 迁移一致性校验笔记:口径、样本与 5 类误报

迁移一致性校验的记录。首轮 312 条差异,最终真差异 4 条。过程、脚本骨架、误报分类和复盘都在下面。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例。

背景与范围

  • 迁移窗口:10-01 至 10-20;
  • 核心表 6 张全量,外围表 12 张抽样;
  • 比对字段:主键、金额、状态、关联键、更新时间;
  • 方向:旧库 → 新库,单向;
  • 快照:校验期间暂停写入 30 分钟。

首轮结果

差异类型 条数
金额字符串表示不同 180
时间差 8 小时 96
尾部空格 28
NULL vs 空串 8
合计 312

业务侧看到 312 条,第一反应是回滚。我没有同意,先做了分类。

分类过程

金额

旧库 NUMBER(18,2),新库 DECIMAL(20,4)。1234.5 和 1234.5000 字符串不同,数值相等。按分取整后重跑,180 条全部消失。

时间

旧库存本地时间,新库存 UTC,差 8 小时。统一时区后重跑,96 条消失。

字符串

客户名称尾部有空格,旧库保存时截断,新库保留。TRIM 后重跑,28 条消失。

空值

备注字段旧库默认空串,新库默认 NULL。和业务确认「都视为空」后,8 条转为可解释。

重跑结果

312 → 12 条。12 条里:

  • 4 条真差异:两张明细表的关联键在目标端缺失;
  • 8 条可解释:迁移窗口内的正常增量,业务已确认。

真差异定位

4 条真差异集中在 order_detail 和 payment_log,共同特征:

  • 源端有、目标端无;
  • 都发生在迁移窗口最后 2 小时;
  • 对应业务键在迁移日志里没有记录。

判断是增量同步的边界问题:切换前最后一批写入没有被同步任务捕获。处置是补数 + 重跑校验,没有回滚。

脚本骨架

-- 示例写法,语法因库而异
SELECT COALESCE(s.id, t.id) AS id,
       CASE WHEN s.id IS NULL THEN 'missing_in_target'
            WHEN t.id IS NULL THEN 'extra_in_target'
            WHEN ABS(s.amount - t.amount) > 0.01 THEN 'amount_diff'
            ELSE 'other' END AS diff_type,
       s.amount AS src_amount, t.amount AS tgt_amount
FROM old_schema.order_detail s
FULL OUTER JOIN new_schema.order_detail t ON s.id = t.id
WHERE s.id IS NULL OR t.id IS NULL OR ABS(s.amount - t.amount) > 0.01;

复盘

小结

312 条听起来很吓人,拆开之后只有 4 条需要处理。一致性校验的第一价值不是「发现问题」,是「把问题分类到能处置」。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例,仅用于说明校验方法,不代表任何生产环境或产品行为。

补充:差异怎么闭环

差异定完性,还要有闭环。我的做法是四步:

  1. 每条真差异指定一个 owner,按业务键认领;
  2. 约定关闭时间,超时要说明原因;
  3. 修复后重跑同一脚本,确认差异消失;
  4. 把这次差异类型补进校验基线,下次自动过滤。

没有闭环,差异报告会变成「每轮都差不多」的固定节目。

补充:三个不要

  • 不要为了「让数字好看」直接改数据;
  • 不要在没有分类的情况下反复重跑脚本;
  • 不要在脚本里加「例外名单」却不写原因。

例外名单是技术债,写清楚原因,下次才有机会删掉。

补充:报告里还要写什么

除了差异条数,至少写清四件事:本轮校验的范围、使用的快照时间、已解释差异的处置、未解释差异的 owner。只写「312 条」,下一轮没人知道该从哪里接。

补充:一个和业务对齐的口径

「差异率」的分母要先说清楚:是按总行数、按金额,还是按业务笔数。不同分母算出来的差异率差很多,和业务对齐之后再报数。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例,仅用于说明校验方法,不代表任何生产环境或产品行为。

补充:大表怎么比

几千万行的表,一次性 FULL OUTER JOIN 会拖垮实例。我的做法是分片:

  1. 按业务键范围分片,每片 100 万行左右;
  2. 每片单独比,结果落临时表;
  3. 所有分片跑完,再汇总差异;
  4. 记录每片的起止时间和差异数,方便定位。

分片比对的好处是可中断、可重跑。中间某一片失败,不用从头再来。

补充:校验期间的锁和 IO

校验 SQL 本身会占资源。跑之前确认三件事:有没有长事务、有没有在跑批、磁盘和 IO 余量够不够。能读备库就读备库,不能读备库就限流,别让校验把业务拖慢。

补充:结果怎么留档

差异结果不要只留在聊天窗口。落一张表,字段至少包括:批次、表名、业务键、差异类型、源值、目标值、定性、owner、关闭时间。下次复盘,直接按批次查。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例,仅用于说明校验方法,不代表任何生产环境或产品行为。

补充:这次校验的五个结论

  1. 312 条差异不等于 312 个问题,分类之后只有 4 条真差异;
  2. 精度、时区、空格、空值、抽样五类误报,能解释大部分差异;
  3. 差异报告必须有「差异类型」和 owner,否则无法闭环;
  4. 真差异集中在迁移窗口最后两小时,说明增量同步是薄弱点;
  5. 补数比重跑脚本有效,定位比回滚便宜。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例。

补充:脚本之外的两件事

一是和业务确认「哪些差异算可接受」,二是和迁移团队确认「哪些差异他们已经在处理」。两件事不做,校验报告会变成跨团队互相甩锅的素材。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例。

补充:这次校验的时间安排

第一天定口径和范围,第二天跑首轮并分类,第三天定位真差异并补数,第四天重跑和留档。四天里,真正跑脚本的时间不到一天,其余都在对齐口径和处理差异。这个比例,和多数人的预期相反。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例。

最后补一句:校验脚本可以复用,校验口径每次都要重新对一遍。

补充:什么时候该换工具

当差异主要来自类型、时区、字符这些「比对前的转换」,而不是数据本身时,先修比对逻辑,不要急着换工具。换工具不解决口径问题。

补充:差异报告的读者是谁

值班人要看「今天有没有必须停的」,负责人要看「谁在什么时候关掉」,复盘要看「为什么脚本没提前发现」。一份报告想同时满足三类人,通常谁都不满意。

补充:复核单的留档

复核单不只看结论,还要看证据。基线截图、计划文本、样本 SQL、更新统计信息的时间,四样附在单后,下次同类问题可以直接对照。

示例环境:文中数字与场景均为脱敏教学示例。

posted @ 2026-11-19 14:07  数据库急诊室_阿哲  阅读(3)  评论(0)    收藏  举报