AIGC标识 一次连接数告警的值班记录:没 kill 会话,先调小连接池

这是一次值班记录,按基线、时间线、回滚三段写。

某个周二凌晨,一个库的连接数使用率到了 92%。我没有 kill 会话,先把两个非核心应用的连接池调小。下面是我当时看到的东西和后来的补法。文中的时间、数字和处理过程,是示例环境下的脱敏教学设定,不是具体某一次故障的实录。

一、基线:平时什么样

aiw_1110_ip01_cnblogs_02_duty

值班记录要先有基线。没有基线,92% 只是一个吓人的数字,你不知道它比平时高多少。

我那晚能想起来的基线有四样:

  • 这个库平时支撑哪些业务,哪些能等,哪些不能等;
  • 跑批窗口大概在什么时段,还剩多久,失败后能不能补;
  • 连接数平时的波动范围,告警线在哪里;
  • CPU、磁盘、业务超时的正常样子。

这四样,有的写在值班卡上,有的在我脑子里。现在我会尽量写下来,因为凌晨一点多,脑子不一定好用。

基线不是一组精确数字,是“平时什么样”。你知道平时什么样,才知道现在偏了多少。

现在我会把基线写成三行:这个库支撑什么业务;跑批窗口大概在哪;回滚找谁。三行不够精确,但凌晨一点多能看懂。

现场判断:先看紧不紧

我没有一上来就看连接数,而是先看三样:业务还在不在进、跑批还在不在走、CPU 和磁盘有没有持续打满。

那晚业务查询还在进来,只是变慢;跑批主进程还在往前走;CPU 没有打满,磁盘没有持续高 IO,超时集中在少数几个查询上。三个信号放在一起,我的判断是“紧,但还没到不可用”。

这个判断很粗,但它决定了后面动作的大小。要是业务已经不进来、跑批也停了,那就不是调连接池能解决的事,得升级。

二、时间线:那晚我看到了什么

相对时间 看到什么 做了什么 判断
凌晨一点多 连接数使用率 92%,群里催问 先看监控,没有立即操作 先确认影响面
十分钟内 会话里有 idle in transaction,跑批主进程还在走 查业务、窗口、会话来源 系统紧,但没到非动手不可
随后 CPU 未打满,磁盘无持续高 IO,超时集中在少数查询 调小两个非核心应用连接池 选代价较小的动作
一点四十左右 跑批结束,连接数自己降下来 继续观察,记录时间线 不 kill 也能恢复

时间线里没有精确到秒,因为值班时你不可能一边处理一边记秒。但“几点几分看到什么、做了什么、什么时候恢复”这三样,事后一定要能说出来。

我现在的做法是,处理的时候只在纸上记几个点:看到了什么、做了什么、什么时候恢复。不追求完整句子,先把点留住,事后才能复盘。

三、为什么没 kill 会话

会话状态里有一批连接来自跑批任务,其中几个是 idle in transaction。说人话:事务还开着,但当前没有语句在跑。它占着连接,却不能当普通空闲连接直接清掉。

如果我批量 kill,跑批会中断。那个窗口只剩四十分钟,重跑不一定来得及。第二天业务看到的,不是“连接数降了”,是“昨天的数没出来”。

我也看过另外两个动作:重启一个节点,起来慢,影响面更大;调小连接池,非核心业务可能排队,但核心和跑批能先走。

这三个动作不是按“谁最快”排,是按“谁影响的人少”排。清会话影响跑批,重启影响所有人,调小非核心池只影响一部分。这个排序不一定对,但至少是我当时能说清楚的理由。

我那晚选了后者。先把两个非核心应用的连接池临时调小,给跑批让路,再把连接数、业务超时、跑批进度放在一个屏幕上盯着。

这个动作不漂亮,也不像“故障处理”。它只是把资源往更重要的地方挪了一点。

四、回滚:动手之前先想好怎么退

回滚不是撤销键,是提前想好的退路。

那晚调小连接池之前,我想了三件事:

  1. 如果核心业务开始报错,先把连接池恢复原样,再谈别的;
  2. 如果跑批失败,记录断点,确认窗口内能不能补,不把 kill 当回滚;
  3. 如果连接数继续涨、业务超时扩大,升级,不一个人扛。

这三条没有全部用上,但写下来以后,手不那么抖。

回滚方案要具体到“谁来做、看什么信号、恢复到什么程度”。只写“有问题就回滚”,等于没写。

回滚的触发条件也要提前写。比如核心业务报错、连接数继续涨、跑批确认补不回来,这三条谁看到都可以提。不是等一个人判断。

我们后来练过一次回滚,只在一个不重要的环境里做。练完发现,真正难的不是命令,是“谁有权说退”。这件事不写下来,出事时还要先找人。

五、事后:三行复盘和三件补的事

第二天,我写了三行:

  • 先看影响面:哪些业务、哪个窗口、停了能不能补;
  • 再想最小动作:有没有不 kill、不重启、不切主的做法;
  • 留一条时间线:几点几分看到了什么,做了什么,什么时候恢复。

这三行后来变成了我的值班卡,放在交接本开头。

另外补了三件事:告警分级写清楚,连接数到 90% 先看是不是在跑批窗口,95% 以上而且业务已经超时再升级;每个月挑一个不重要的环境,把“怎么退”练一遍;值班卡上加上“关键联系人”和“三个最小动作”。

值班卡上我还加了一行“这一班最不确定什么”。不是为了好看,是交班时能让下一个人知道,哪里还没确认。

六、如果只做一件

如果你第一次独立值班,只做一件,我会先把基线写下来。

不用写得多漂亮,就写这个库支撑什么业务、跑批窗口在哪、告警线在哪、回滚找谁。写在值班本上,下次谁值班都能看到。

基线不用一次写全。先写业务和窗口,下次值班再补告警线和联系人。写一次,比在脑子里记强。

七、这次没做好的地方

那十分钟里,我一直在想“我是不是显得很没用”,而不是“我现在该确认什么”。这件事后来我没完全改掉,只是现在会先把它写下来,再决定动不动。

还没想通的一点

我到现在也没完全想通:为什么值班的人总想立刻做点什么。

可能是群里那句“多久能好”太急,可能是我们总觉得不动手就不算处理。但有些时候,最好的动作,是先看清楚,再动最小的那一下。

你第一次独立值班,卡在哪一步?是不知道该问谁,还是不敢停?评论区说说。

posted @ 2026-11-10 16:25  满小满m  阅读(0)  评论(0)    收藏  举报