使用 pidstat 定位线上 IO 问题
背景说明
我们的产品监控显示,产品会出现瞬时 CPU 使用率高达 60% 的现象,基本每隔一分钟就会出现。

问题分析
通过观察监控,我们还发现,磁盘读的使用率也会出现短时间飙升到 40MBps 的问题,平常基本只会瞬时跳动到 100kbps。
综合以上,基本确定问题出现在磁盘读写上。
使用 pidstat 观察每个进程的磁盘 IO 使用
# pidstat -d 1 。。。(以上实时显示内容太多,不予显示) Average: UID PID kB_rd/s kB_wr/s kB_ccwr/s Command Average: 0 1 0.48 0.00 0.00 systemd Average: 0 347 0.00 3.95 0.00 jbd2/vda1-8 Average: 0 439 0.11 17.38 0.00 systemd-journal Average: 0 1112 0.23 0.89 0.36 rsyslogd Average: 0 1943 1017.27 3.48 1.91 crond Average: 0 2054 0.05 1.43 0.00 jbd2/vdb1-8 Average: 0 2254 2.55 0.07 0.00 a-service Average: 0 2358 15.20 1.48 0.00 dockerd Average: 0 2634 52.24 0.00 0.00 python2 Average: 0 4533 3.57 0.09 0.00 logtail Average: 0 5039 143.32 0.23 0.23 cd-shimag Average: 0 5259 8.11 0.00 0.00 soft-test Average: 0 5886 0.14 0.00 0.00 AD Average: 0 5897 0.30 0.02 0.00 AMonito Average: 0 5956 0.07 0.00 0.00 ADU Average: 0 6499 107.03 0.07 0.07 cd-shimag Average: 0 6992 24.79 0.07 0.07 cd-shimag Average: 0 7297 42.04 0.07 0.07 cd-shimag Average: 0 7583 60.72 0.07 0.07 cd-shimag Average: 0 9224 167.44 0.07 0.07 cd-shimag Average: 0 13374 0.11 0.00 0.00 kworker/u4:2-events_unbound Average: 0 14332 0.75 0.02 0.00 ntpd Average: 0 21441 0.80 0.00 0.00 pidstat Average: 0 24972 0.02 0.00 0.00 kworker/u4:1-events_unbound Average: 0 31382 0.14 0.00 0.00 kworker/u4:0-events_unbound
综上得出,问题出现在 crond 程序。因为我们的产品是部署在别人的 ECS 上,ECS 上预置了很多脚本,大多归 crond 管。
关闭 cornd
systemctl stop crond
再次观察产品监控
发现磁盘使用率降下来,CPU 也不会出现每分钟出现一瞬间的 60% CPU 使用率的状况。

浙公网安备 33010602011771号