换库时区问题排查笔记:从告警到连接串
换库后的时间偏移问题,记录一次完整排查。现象、六处检查点、验证方法和最后的检查清单都在下面。
示例环境:库名、表名、连接参数、时间值均为脱敏教学示例,只用于说明排查方法。
现象
- 时间:换库后第三天 09:10;
- 报障:日报里前一天订单缺失,部分订单跨天重复;
- 明细:单条查询时间正确;
- 聚合:按天分组时,20 号的数据被拆到 20 号和 21 号;
- 影响范围:所有带时间条件的日报、周报。
第一轮误判
先改 SQL。把 >= 改成 >,把日期字面量加引号,把时区函数套上,结果都没变。又怀疑数据迁移丢了几条,抽样查了 100 条,时间都对。
这一步花了大概 40 分钟,后来看是白花。整齐的 8 小时偏移,不该先怀疑数据。
六处检查点
1. 连接串
对比换库前后完整参数:
| 参数 | 换库前 | 换库后 | 备注 |
|---|---|---|---|
| host / port | 旧地址 | 新地址 | 已改 |
| 库名 | 旧库 | 新库 | 已改 |
| 时区参数 | Asia/Shanghai | 缺失 | 问题 |
| 驱动版本 | 旧版本 | 新版本 | 默认值可能变 |
2. 数据库默认时区
SHOW timezone;
示例里返回 UTC。应用按东八区写入,数据库按 UTC 解释,差 8 小时。
3. 会话时区
SELECT current_setting('TimeZone');
会话时区可能继承数据库默认值,也可能被连接池参数覆盖。两层都要看。
4. 字段类型
SELECT column_name, data_type
FROM information_schema.columns
WHERE table_name = 'orders'
AND column_name IN ('create_time', 'pay_time');
确认是带时区还是不带时区。类型变了,读写行为就变了。
5. 应用序列化
在日志里打印「从库里取出的原始值」和「返回给前端的值」。两个值差 8 小时,问题在应用层;一样,问题在展示层。
6. 报表 / ETL / 调度
确认调度平台的时区、分区字段、任务开始时间。换库只改数据库连接、没改调度时区,是常见组合。
定位与修复
前两处就找到了:连接串缺时区参数,数据库默认 UTC。
修复动作:
- 连接串补
serverTimezone=Asia/Shanghai; - 确认会话时区;
- 重启连接池,让新参数生效;
- 重跑 20 号、21 号边界数据;
- 对比重跑前后的日报,确认无重复、无遗漏。
验证
| 检查项 | 方法 | 结果 |
|---|---|---|
| 写入时间 | 应用日志 vs 库内值 | 一致 |
| 读取时间 | 库内值 vs 接口返回 | 一致 |
| 按天聚合 | 20/21 号边界重跑 | 无重复、无遗漏 |
| 日报总数 | 与业务侧对账 | 一致 |
| 周报 | 重跑一周 | 一致 |
复盘
- 换库检查清单里没有「时区」这一项,是这次最大的漏洞;
- 连接串对比只看了 host 和库名,没看完整参数;
- 出问题后先改 SQL,浪费了 40 分钟;
- 边界数据没有在换库当天验证。
检查清单(可复用)
小结
时间差 8 小时,不是 SQL 的错,也不一定是数据的错。先查「谁在解释时间」,再查「数据对不对」。顺序反了,会在 SQL 里绕很久。
示例环境:库名、表名、连接参数和时间值均为脱敏教学示例,仅用于说明排查方法,不代表任何生产环境或产品行为。
补充:大表怎么比
几千万行的表,一次性 FULL OUTER JOIN 会拖垮实例。我的做法是分片:
- 按业务键范围分片,每片 100 万行左右;
- 每片单独比,结果落临时表;
- 所有分片跑完,再汇总差异;
- 记录每片的起止时间和差异数,方便定位。
分片比对的好处是可中断、可重跑。中间某一片失败,不用从头再来。
补充:校验期间的锁和 IO
校验 SQL 本身会占资源。跑之前确认三件事:有没有长事务、有没有在跑批、磁盘和 IO 余量够不够。能读备库就读备库,不能读备库就限流,别让校验把业务拖慢。
补充:结果怎么留档
差异结果不要只留在聊天窗口。落一张表,字段至少包括:批次、表名、业务键、差异类型、源值、目标值、定性、owner、关闭时间。下次复盘,直接按批次查。
示例环境:表名、字段、差异条数、样本值均为脱敏教学示例,仅用于说明校验方法,不代表任何生产环境或产品行为。
补充:为什么没在换库当天发现
换库当晚只验了「能连、能查」,没有验「按天聚合」。边界问题要跨天才会暴露,所以第二天日报出来才发现。以后换库当天就加一条跨天数据验证,不等第二天。
示例环境:库名、表名、连接参数和时间值均为脱敏教学示例。
补充:历史数据怎么办
先确认影响范围:哪些表、哪个时间段、多少行。再和业务确认是否回刷、回刷窗口、回刷后的对账方式。不要在不确认的情况下批量改历史时间。
补充:连接池的一个细节
连接池里可能同时存在新旧两种时区的连接。改完参数后重启连接池,或者等旧连接自然淘汰,再抽查一次;只看新连接正常,不代表全部正常。
补充:为什么没在换库当天发现
换库当晚只验了「能连、能查」,没有验「按天聚合」。边界问题要跨天才会暴露,所以第二天日报出来才发现。以后换库当天就加一条跨天数据验证,不等第二天。
示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。
补充:复盘清单
示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。
补充:给下次换库的一句话
换库前先问「时间从哪来、到哪去、谁解释」,比换库后查三天更有用。
示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。
补充:一张对照表
| 层 | 检查值 | 期望值 |
|---|---|---|
| 连接串 | 时区参数 | Asia/Shanghai |
| 数据库 | 默认时区 | 与业务一致 |
| 会话 | 当前时区 | 与连接串一致 |
| 字段 | 带/不带时区 | 与写入一致 |
示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。
补充:给同组的一句话
下次换库,先把「时间链路六问」发给应用和报表的同事,让他们各自确认一遍,比出问题后再拉群快得多。
示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。
补充:结尾
把这次的时间线、检查值、修复动作留在笔记里,下次换库前先翻一遍,比重新踩一遍便宜。
示例环境:文中库名、表名、连接参数和时间值均为脱敏教学示例。
浙公网安备 33010602011771号