linux系统中如何排查CPU负载较高的问题

linux系统中如何排查CPU负载较高的问题

今天我们来给大家介绍下当Linux系统的CPU使用率或CPU负载较高时，如何排查分析及常见案例说明。

在Linux系统中，查看进程的常用命令如下所示。本文主要介绍vmstat命令的使用。

  • vmstat
  • top
  • ps -aux
  • ps -ef

vmstat（VirtualMeomoryStatistics，虚拟内存统计），通过vmstat命令，从系统维度查看操作系统的虚拟内存、进程、CPU等的整体情况。

vmstat****命令

vmstat [-n] [delay [count]]

说明

  • [-n]：只在开始时显示一次各字段名称。
  • [delay]：刷新时间间隔。如果不指定，只显示一条结果。
  • [count]：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。

使用示例

执行如下命令，使用vmstat每1秒统计一次各进程的CPU使用情况，连续统计4次。

vmstat -n 1 4

返回示例类似如下。

image-20230830172645531

显示结果主要字段说明

  • r：表示系统中CPU等待处理的线程。一个CPU每次只能处理一个线程，所以该数值越大，通常表示系统运行越慢。
  • us：用户模式消耗的CPU时间百分比。该值较高时，说明用户进程消耗的CPU时间比较多。如果该值长期超过50%，则需要对程序算法或代码等进行优化。
  • sy：内核模式消耗的CPU时间百分比。
  • wa：I/O等待消耗的CPU时间百分比。该值较高时，说明IO等待比较严重，这可能是磁盘大量作随机访问造成的，也可能是磁盘性能出现了瓶颈。
  • id：处于空闲状态的CPU时间百分比。如果该值持续为0，同时sy是us的两倍，则通常说明系统面临CPU资源短缺。

常见CPU资源过高案例分析

案例一：CPU使用率较低但负载较高

问题现象

当前Linux系统没有业务程序运行。通过top命令观察，发现CPU使用率不高，但是CPU负载（load average）却非常高，如下图所示。

image-20230830172711724

问题原因

该问题可能是因为僵死（zombie）进程过多导致。

load average是对CPU负载进行评估的，其值越高说明其任务队列越长，处于等待执行的任务越多。

解决方案

您可以通过ps -axjf命令查看是否存在D+状态进程，该状态是指不可中断的睡眠状态。

处于该状态的进程无法终止，也无法自行退出，只能通过恢复其依赖的资源或者重启系统来解决。

image-20230830172736635

案例二：kswapd0进程占用CPU较高

问题现象

服务器运行卡顿，使用top命令查看，kswapd0进程占用了99% CPU。

image-20230830172906852

问题原因

出现该问题可能是系统此时在持续进行换页操作，导致占用大量CPU资源。

kswapd0是虚拟内存管理中负责换页的进程，当服务器物理内存不足时，kswapd0会执行换页操作，换页操作会消耗大量的CPU资源。

解决方案

您可以通过修改vm.swappiness内核参数来控制交换空间的大小，来解决kswapd0进程占用CPU较高的问题。

  1. 查看swappiness参数。
cat /proc/sys/vm/swappiness

系统显示类似如下，表示当物理内存低于60%（100-40）时使用swap空间。

说明 swappiness参数越低，表示Linux系统尽量少用swap分区，多用物理内存；swappiness参数值越高，表示使内核更多的去使用swap空间。

image-20230830172951738

  1. 根据业务需要，修改swappiness参数。

    1. 打开内核参数配置文件sysctl.conf。

    2. vi /etc/sysctl.conf

    3. 根据业务需要，修改swappiness参数值。

    4. 如在sysctl.conf文件中，修改vm.swappiness = 10。

    5. 重新加载sysctl配置文件，使配置生效。

    6. sysctl -p

    7. 若该问题还未解决，建议升级服务器配置。

案例三：CPU使用率过高100%问题排查

问题现象

使用服务器的过程中，如果遇到CPU使用率高达100%等异常情况，且无法通过top、htop等命令查询到消耗CPU资源的具体进程。

问题原因

该问题可能是病毒导致。

解决方案

  1. 通过云后台监控，或者自建监控系统查看CPU使用率并记录具体时间点

  2. 查看Linux实例的命令修改记录。

    1. 登陆到服务器

    2. 执行如下命令，查看当前Linux系统命令最近是否被修改过。

    3. stat /usr/bin/top

    4. 系统显示类似如下，系统命令有被修改。查看更改时间是否和云监控中CPU使用率出现100%的时间点吻合。

image-20230830173040635

  1. 分别执行如下命令，查看ps或top命令是否被修改过。
rpm -Vf /bin/ps
rpm -Vf /usr/bin/top

image-20230830173344179

  1. 执行如下命令，查看当前实例是否连接到异常域名。
iftop -i [$Device] -n -P

说明 [$Device]请替换为当前系统使用的网卡，如eth0。

系统显示类似如下，若您没有连接过crypto-pool.fr，则crypto-pool.fr是异常域名。

image-20230830173423707

  1. 综合以上表现，top、ps命令被修改，并且连接到异常域名，判断您的服务器已被病毒入侵，进行下一步都安全问题排查；
posted @ 2023-08-30 17:35  寻梦99  阅读(3514)  评论(0)    收藏  举报