AIGC标识 换库时区问题排查笔记:从告警到连接串

换库后的时间偏移问题,记录一次完整排查。现象、六处检查点、验证方法和最后的检查清单都在下面。

示例环境:库名、表名、连接参数、时间值均为脱敏教学示例,只用于说明排查方法。

现象

  • 时间:换库后第三天 09:10;
  • 报障:日报里前一天订单缺失,部分订单跨天重复;
  • 明细:单条查询时间正确;
  • 聚合:按天分组时,20 号的数据被拆到 20 号和 21 号;
  • 影响范围:所有带时间条件的日报、周报。

第一轮误判

先改 SQL。把 >= 改成 >,把日期字面量加引号,把时区函数套上,结果都没变。又怀疑数据迁移丢了几条,抽样查了 100 条,时间都对。

这一步花了大概 40 分钟,后来看是白花。整齐的 8 小时偏移,不该先怀疑数据。

六处检查点

1. 连接串

对比换库前后完整参数:

参数 换库前 换库后 备注
host / port 旧地址 新地址 已改
库名 旧库 新库 已改
时区参数 Asia/Shanghai 缺失 问题
驱动版本 旧版本 新版本 默认值可能变

2. 数据库默认时区

SHOW timezone;

示例里返回 UTC。应用按东八区写入,数据库按 UTC 解释,差 8 小时。

3. 会话时区

SELECT current_setting('TimeZone');

会话时区可能继承数据库默认值,也可能被连接池参数覆盖。两层都要看。

4. 字段类型

SELECT column_name, data_type
FROM information_schema.columns
WHERE table_name = 'orders'
  AND column_name IN ('create_time', 'pay_time');

确认是带时区还是不带时区。类型变了,读写行为就变了。

5. 应用序列化

在日志里打印「从库里取出的原始值」和「返回给前端的值」。两个值差 8 小时,问题在应用层;一样,问题在展示层。

6. 报表 / ETL / 调度

确认调度平台的时区、分区字段、任务开始时间。换库只改数据库连接、没改调度时区,是常见组合。

定位与修复

前两处就找到了:连接串缺时区参数,数据库默认 UTC。

修复动作:

  1. 连接串补 serverTimezone=Asia/Shanghai;
  2. 确认会话时区;
  3. 重启连接池,让新参数生效;
  4. 重跑 20 号、21 号边界数据;
  5. 对比重跑前后的日报,确认无重复、无遗漏。

验证

检查项 方法 结果
写入时间 应用日志 vs 库内值 一致
读取时间 库内值 vs 接口返回 一致
按天聚合 20/21 号边界重跑 无重复、无遗漏
日报总数 与业务侧对账 一致
周报 重跑一周 一致

复盘

  • 换库检查清单里没有「时区」这一项,是这次最大的漏洞;
  • 连接串对比只看了 host 和库名,没看完整参数;
  • 出问题后先改 SQL,浪费了 40 分钟;
  • 边界数据没有在换库当天验证。

检查清单(可复用)

小结

时间差 8 小时,不是 SQL 的错,也不一定是数据的错。先查「谁在解释时间」,再查「数据对不对」。顺序反了,会在 SQL 里绕很久。

示例环境:库名、表名、连接参数和时间值均为脱敏教学示例,仅用于说明排查方法,不代表任何生产环境或产品行为。

补充:大表怎么比

几千万行的表,一次性 FULL OUTER JOIN 会拖垮实例。我的做法是分片:

  1. 按业务键范围分片,每片 100 万行左右;
  2. 每片单独比,结果落临时表;
  3. 所有分片跑完,再汇总差异;
  4. 记录每片的起止时间和差异数,方便定位。

分片比对的好处是可中断、可重跑。中间某一片失败,不用从头再来。

补充:校验期间的锁和 IO

校验 SQL 本身会占资源。跑之前确认三件事:有没有长事务、有没有在跑批、磁盘和 IO 余量够不够。能读备库就读备库,不能读备库就限流,别让校验把业务拖慢。

补充:结果怎么留档

差异结果不要只留在聊天窗口。落一张表,字段至少包括:批次、表名、业务键、差异类型、源值、目标值、定性、owner、关闭时间。下次复盘,直接按批次查。

示例环境:表名、字段、差异条数、样本值均为脱敏教学示例,仅用于说明校验方法,不代表任何生产环境或产品行为。

补充:为什么没在换库当天发现

换库当晚只验了「能连、能查」,没有验「按天聚合」。边界问题要跨天才会暴露,所以第二天日报出来才发现。以后换库当天就加一条跨天数据验证,不等第二天。

示例环境:库名、表名、连接参数和时间值均为脱敏教学示例。

补充:历史数据怎么办

先确认影响范围:哪些表、哪个时间段、多少行。再和业务确认是否回刷、回刷窗口、回刷后的对账方式。不要在不确认的情况下批量改历史时间。

补充:连接池的一个细节

连接池里可能同时存在新旧两种时区的连接。改完参数后重启连接池,或者等旧连接自然淘汰,再抽查一次;只看新连接正常,不代表全部正常。

补充:为什么没在换库当天发现

换库当晚只验了「能连、能查」,没有验「按天聚合」。边界问题要跨天才会暴露,所以第二天日报出来才发现。以后换库当天就加一条跨天数据验证,不等第二天。

示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。

补充:复盘清单

示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。

补充:给下次换库的一句话

换库前先问「时间从哪来、到哪去、谁解释」,比换库后查三天更有用。

示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。

补充:一张对照表

层 检查值 期望值
连接串 时区参数 Asia/Shanghai
数据库 默认时区 与业务一致
会话 当前时区 与连接串一致
字段 带/不带时区 与写入一致

示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。

补充:给同组的一句话

下次换库,先把「时间链路六问」发给应用和报表的同事,让他们各自确认一遍,比出问题后再拉群快得多。

示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。

补充:结尾

把这次的时间线、检查值、修复动作留在笔记里,下次换库前先翻一遍,比重新踩一遍便宜。

示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。

posted @ 2026-11-18 14:18  满小满m  阅读(0)  评论(0)    收藏  举报