使用 pidstat 定位线上 IO 问题

 

背景说明

我们的产品监控显示,产品会出现瞬时 CPU 使用率高达 60% 的现象,基本每隔一分钟就会出现。

 

 

问题分析

通过观察监控,我们还发现,磁盘读的使用率也会出现短时间飙升到 40MBps 的问题,平常基本只会瞬时跳动到 100kbps。

综合以上,基本确定问题出现在磁盘读写上。

 

使用 pidstat 观察每个进程的磁盘 IO 使用

# pidstat -d 1

。。。(以上实时显示内容太多,不予显示)
Average:      UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s  Command
Average:        0         1      0.48      0.00      0.00  systemd
Average:        0       347      0.00      3.95      0.00  jbd2/vda1-8
Average:        0       439      0.11     17.38      0.00  systemd-journal
Average:        0      1112      0.23      0.89      0.36  rsyslogd
Average:        0      1943   1017.27      3.48      1.91  crond
Average:        0      2054      0.05      1.43      0.00  jbd2/vdb1-8
Average:        0      2254      2.55      0.07      0.00  a-service
Average:        0      2358     15.20      1.48      0.00  dockerd
Average:        0      2634     52.24      0.00      0.00  python2
Average:        0      4533      3.57      0.09      0.00  logtail
Average:        0      5039    143.32      0.23      0.23  cd-shimag
Average:        0      5259      8.11      0.00      0.00  soft-test
Average:        0      5886      0.14      0.00      0.00  AD
Average:        0      5897      0.30      0.02      0.00  AMonito
Average:        0      5956      0.07      0.00      0.00  ADU
Average:        0      6499    107.03      0.07      0.07  cd-shimag
Average:        0      6992     24.79      0.07      0.07  cd-shimag
Average:        0      7297     42.04      0.07      0.07  cd-shimag
Average:        0      7583     60.72      0.07      0.07  cd-shimag
Average:        0      9224    167.44      0.07      0.07  cd-shimag
Average:        0     13374      0.11      0.00      0.00  kworker/u4:2-events_unbound
Average:        0     14332      0.75      0.02      0.00  ntpd
Average:        0     21441      0.80      0.00      0.00  pidstat
Average:        0     24972      0.02      0.00      0.00  kworker/u4:1-events_unbound
Average:        0     31382      0.14      0.00      0.00  kworker/u4:0-events_unbound

  综上得出,问题出现在 crond 程序。因为我们的产品是部署在别人的 ECS 上,ECS 上预置了很多脚本,大多归 crond 管。

 

关闭 cornd

systemctl stop crond

  

再次观察产品监控

发现磁盘使用率降下来,CPU 也不会出现每分钟出现一瞬间的 60% CPU 使用率的状况。

 

posted @ 2025-03-12 17:27  dos_hello_world  阅读(32)  评论(0)    收藏  举报