AIGC标识 一次割接后的性能复核记录:基线、样本、回滚点

记录一次割接后的性能复核。时间线、样本、判断和回滚点都留在下面,方便下次遇到同类问题时照着走。

示例环境:所有语句、行数、耗时、等待事件均为脱敏教学示例,只用于说明复核方法。

时间线

  • 割接当晚 22:00:完成切换,健康检查通过;
  • 22:30:应用连接正常,抽了三条 OLTP 语句,耗时和基线接近;
  • 次日 08:10:报表任务开始,陆续出现「比昨天慢」的反馈;
  • 08:40:取到第一条样本,同一报表 SQL 从 1.8s 涨到 4.6s;
  • 09:00:拉出割接前一周的负载快照,开始归一化;
  • 09:40:确认计划从索引扫描变成全表扫描,估算 800 行、实际 27,000 行;
  • 10:10:更新统计信息,重跑,耗时降到 2.4s;
  • 10:40:剩余差距由数据量增长解释,复核结束,未回滚。

取证:先拿三样东西

  1. 割接前的负载快照:语句、返回行数、并发、数据总量;
  2. 割接后的同语句样本:同一参数、同一时段,至少三次;
  3. 两边的执行计划:不只看耗时,要看访问路径和估算行数。

这三样缺一样,后面的判断都容易变成争论。

基线对比

项目 割接前 割接后 变化
返回行数 12,000 27,000 +125%
数据总量 1.1 亿 1.4 亿 +27%
单次耗时 1.8s 4.6s +156%
每万行耗时 1.5s 1.7s +13%
访问路径 索引扫描 全表扫描 变化
估算/实际 1,200/1,200 800/27,000 偏差 30 倍

归一化后只差 13%,说明大头是数据增长。但访问路径确实变了,这一部分不能算预期内。

判断:问题在统计信息

估算 800 行、实际 27,000 行,偏差 30 多倍。割接时统计信息没有一起迁过来,自动收集还没跑到这张表。这个信号比「哪个索引少了」更直接。

处理顺序:

  1. 先收集统计信息,重跑同语句;
  2. 计划回到索引扫描,耗时 2.4s;
  3. 再对比剩余差距,确认由数据量解释;
  4. 不加索引,不改 SQL,观察一天。

回滚点

这次没有触发回滚,但回滚条件提前写了:

  • 同语句同参数同数据量,归一化后仍慢 2 倍以上;
  • 出现金额、日期、排序结果不一致;
  • 更新统计信息后计划仍无法回到基线,且业务高峰临近。

回滚点记的是「切回旧库 + 应用连接串切换 + 校验三条核心报表」,不是一句「可以回滚」。回滚耗时按 30 分钟预留,实际没有用到。

复盘:下次割接前要补的

小结

这次没有加索引,也没有回滚。真正解决问题的是「先归一化、再看计划、最后定位统计信息」这个顺序。割接后的第一批慢查询,最怕的不是慢,而是一上来就改。

示例环境:表名、行数、执行计划和耗时均为脱敏教学示例,仅用于说明方法,不代表任何生产环境或产品性能。

补充:大表怎么比

几千万行的表,一次性 FULL OUTER JOIN 会拖垮实例。我的做法是分片:

  1. 按业务键范围分片,每片 100 万行左右;
  2. 每片单独比,结果落临时表;
  3. 所有分片跑完,再汇总差异;
  4. 记录每片的起止时间和差异数,方便定位。

分片比对的好处是可中断、可重跑。中间某一片失败,不用从头再来。

补充:校验期间的锁和 IO

校验 SQL 本身会占资源。跑之前确认三件事:有没有长事务、有没有在跑批、磁盘和 IO 余量够不够。能读备库就读备库,不能读备库就限流,别让校验把业务拖慢。

补充:结果怎么留档

差异结果不要只留在聊天窗口。落一张表,字段至少包括:批次、表名、业务键、差异类型、源值、目标值、定性、owner、关闭时间。下次复盘,直接按批次查。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例,仅用于说明校验方法,不代表任何生产环境或产品行为。

补充:这次没做的事

没有做全量 SQL 回归,只比了 Top 20;没有做压测,只看了真实流量;没有改任何索引,只更新了统计信息。范围小,结论也有限,所以报告里写的是「本次复核未发现其他回退」,不是「系统没有问题」。

示例环境:表名、行数、执行计划和耗时均为脱敏教学示例。

补充:怎么判断是不是数据倾斜

同一语句换几个参数值分别跑,如果只有某个值特别慢,且估算行数与实际行数差距很大,先怀疑数据分布,而不是索引。

补充:复核时怎么和业务对齐

业务只关心两件事:什么时候能恢复、恢复后数据对不对。所以复核报告不要只写耗时,要写「哪几条核心报表已恢复」「哪几条还要等」。业务听得懂这两句,才愿意给你时间做技术排查。

补充:复核单的留档

复核单不只看结论,还要看证据。基线截图、计划文本、样本 SQL、更新统计信息的时间,四样附在单后,下次同类问题可以直接对照。

示例环境:文中数字与场景均为脱敏教学示例。

补充:复核记录写给谁

写给三天后的自己,也写给下一班值班人。所以时间、样本、判断依据、回滚点都要写全,不能只写「已处理」。三天后你会忘记当时的判断过程,记录是最直接的线索。

示例环境:文中表名、行数、执行计划和耗时均为脱敏教学示例。

补充:这次复核的局限

只比了 Top 20 SQL,没有做全量回归;只看了一个业务时段,没有覆盖跑批高峰;没有做压测。结论只适用于「已发现的慢查询」,不能推导出「系统整体没有回退」。

示例环境:文中表名、行数、执行计划和耗时均为脱敏教学示例。

补充:下次要提前准备

割接前把 Top 20 SQL、计划、返回行数、并发数导出成一个文件,放在值班手册旁边。真出问题时,打开就能比,不用临时翻监控。

示例环境:文中表名、行数、执行计划和耗时均为脱敏教学示例。

补充:记录里的三个「不」

不写「应该没问题」,写「已验证哪几项」;不写「已处理」,写「处理动作和验证结果」;不写「观察中」,写「观察窗口和判断标准」。三个「不」能让记录在三天后仍然可用。

示例环境:文中表名、行数、执行计划和耗时均为脱敏教学示例。

posted @ 2026-11-17 16:25  数据库急诊室_阿哲  阅读(35)  评论(0)    收藏  举报