02 | 基础篇:到底应该怎么理解“平均负载”?
一、平均负载与CPU使用率关系
1、平均负载
单位时间内，系统处于可运行状态和不可中断状态的平均进程数，他和CPU使用率没有直接的关系，
可运行状态：
正在使用CPU或者正在等待CPU的进程
不可中断进程
进程是正处内核关键流程的进程，并且这些流程是不可中断的状态，比如最常见的是等待硬件设备I/O响应，也就是我们在ps -aux命令中看到D状态的状态，不可中断状态实际上是系统对硬件设备的保护机制
2、当平均负载为2时，意味着什么？
既然是平均的活跃进程数，那么最理想的，就是每个CPU上都刚好运行着一个进程，这样每个CPU都得到了充分的利用，那当平均负载2，意味着什么呢？
1、在只有2个CPU的系统上，意味着所有CPU都刚好被完全占用
2、在4个CPU的系统上，意味着CPU有50%空闲
3、在1个CPU系统上，意味着有一半进程竞争不到CPU资源
二、平均负载多少比较合理
平均负载最理想的情况等于CPU个数
1、查看系统有几个CPU
grep 'model name' /proc/cpuinfo | wc -l 2
当平均负载高于CPU数量70%就可以排除负载高的问题了。一旦负载过高，就可能导致进程响应变慢，进而影响服务的正常功能
三、平均负载与CPU使用率
1、平均负载
1、正在使用CPU的进程
2、等待CPU
3、等待I/O的进程
2、CPU使用率
1、CPU密集型进程，使用大量的CPU导致系统的平均负载升高，
2、I/O 密集型进程，等待 I/O 也会导致平均负载升高，但 CPU 使用率不一定很高；
3、大量等待CPU的进程调度也会导致平均负载升高，此时的CPU 使用率也会比较高
四、实战
1、环境与测试工具
1、操作系统
[root@lhr ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core)
2、测试工具
yum install stress-ng sysstat -y rpm -qa|grep sysstat
2、场景一：CPU 密集型进程
1、窗口1
[root@luoahong ~]# stress --cpu 1 --timeout 600 --cpu：进程所使用的CPU数 --timeout 600 600s后自动断开 stress: info: [1307] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd
2、窗口2
#-P ALL 表示监控所有CPU，后面数字5表示间隔5秒后输出一组数据 [root@lhr ~]# mpstat -P ALL 5 Linux 3.10.0-957.21.3.el7.x86_64 (lhr) 2019年10月29日 _x86_64_ (2 CPU) 18时23分01秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 18时23分06秒 all 99.90 0.00 0.10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 18时23分06秒 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 18时23分06秒 1 99.80 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 18时23分06秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 18时23分11秒 all 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 18时23分11秒 0 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 18时23分11秒 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
正好有一个 CPU 的使用率为 100%，但它的只有 0。这说明，平均负载的升高正是由于 CPU 使用率为 100% 。
那么，到底是哪个进程导致了 CPU 使用率为 100% 呢？你可以使用 pidstat 来查询
窗口3
[[root@lhr ~]# pidstat -u 5 Linux 3.10.0-957.21.3.el7.x86_64 (lhr) 2019年10月29日 _x86_64_ (2 CPU) 18时24分47秒 UID PID %usr %system %guest %CPU CPU Command 18时24分52秒 0 1027 0.40 0.00 0.00 0.40 1 AliYunDun 18时24分52秒 0 26190 99.80 0.00 0.00 99.80 1 stress 18时24分52秒 0 26191 99.60 0.00 0.00 99.60 0 stress 18时24分52秒 UID PID %usr %system %guest %CPU CPU Command 18时24分57秒 0 1027 0.00 0.20 0.00 0.20 1 AliYunDun 18时24分57秒 0 26132 0.20 0.00 0.00 0.20 0 sshd 18时24分57秒 0 26190 99.60 0.20 0.00 99.80 1 stress 18时24分57秒 0 26191 99.80 0.00 0.00 99.80 0 stress 18时24分57秒 0 26194 0.00 0.20 0.00 0.20 0 pidstat 平均时间: UID PID %usr %system %guest %CPU CPU Command 平均时间: 0 1027 0.20 0.10 0.00 0.30 - AliYunDun 平均时间: 0 26132 0.10 0.00 0.00 0.10 - sshd 平均时间: 0 26190 99.70 0.10 0.00 99.80 - stress 平均时间: 0 26191 99.70 0.00 0.00 99.70 - stress 平均时间: 0 26194 0.00 0.10 0.00 0.10 - pidstat
从这里可以明显看到，stress 进程的 CPU 使用率为 99.80
3、场景二：I/O 密集型进程
1、窗口1
stress-ng -i 1 --hdd 1 --timeout 600
2、窗口2
# -d 参数表示高亮显示变化的区域 $ watch -d uptime ..., load average: 2.17, 0.84, 0.40
3、窗口3
[root@lhr ~]# mpstat -P ALL 5 1 Linux 3.10.0-957.21.3.el7.x86_64 (lhr) 2019年10月29日 _x86_64_ (2 CPU) 18时27分49秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 18时27分54秒 all 0.51 0.00 12.90 85.06 0.00 0.00 0.00 0.00 0.00 1.54 18时27分54秒 0 0.42 0.00 10.42 87.50 0.00 0.00 0.00 0.00 0.00 1.67 18时27分54秒 1 0.40 0.00 15.52 82.86 0.00 0.00 0.00 0.00 0.00 1.21 平均时间: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 平均时间: all 0.51 0.00 12.90 85.06 0.00 0.00 0.00 0.00 0.00 1.54 平均时间: 0 0.42 0.00 10.42 87.50 0.00 0.00 0.00 0.00 0.00 1.67 平均时间: 1 0.40 0.00 15.52 82.86 0.00 0.00 0.00 0.00 0.00 1.21 1 分钟的平均负载会慢慢增加到 1.00
其中一个CPU的系统CPU使用率升高到了10.42，而iowait高达87.50%。这说明，平均负载的升高是由于iowait的升高。
那么，到底是哪个进程导致了 CPU 使用率为 100% 呢？
[root@lhr ~]# pidstat -u 5 1 Linux 3.10.0-957.21.3.el7.x86_64 (lhr) 2019年10月29日 _x86_64_ (2 CPU) 18时29分46秒 UID PID %usr %system %guest %CPU CPU Command 18时29分51秒 0 324 0.00 0.80 0.00 0.80 0 kworker/0:1H 18时29分51秒 0 329 0.00 2.20 0.00 2.20 1 jbd2/vda1-8 18时29分51秒 0 895 0.20 0.00 0.00 0.20 0 tuned 18时29分51秒 0 1027 0.40 0.00 0.00 0.40 1 AliYunDun 18时29分51秒 997 21285 0.20 0.00 0.00 0.20 0 mysqld 18时29分51秒 0 21586 0.00 2.00 0.00 2.00 1 kworker/u4:1 18时29分51秒 0 26196 0.40 20.96 0.00 21.36 0 stress-ng-hdd 18时29分51秒 0 26197 0.00 0.20 0.00 0.20 1 stress-ng-io 18时29分51秒 0 26198 0.00 0.20 0.00 0.20 0 watch 平均时间: UID PID %usr %system %guest %CPU CPU Command 平均时间: 0 324 0.00 0.80 0.00 0.80 - kworker/0:1H 平均时间: 0 329 0.00 2.20 0.00 2.20 - jbd2/vda1-8 平均时间: 0 895 0.20 0.00 0.00 0.20 - tuned 平均时间: 0 1027 0.40 0.00 0.00 0.40 - AliYunDun 平均时间: 997 21285 0.20 0.00 0.00 0.20 - mysqld 平均时间: 0 21586 0.00 2.00 0.00 2.00 - kworker/u4:1 平均时间: 0 26196 0.40 20.96 0.00 21.36 - stress-ng-hdd 平均时间: 0 26197 0.00 0.20 0.00 0.20 - stress-ng-io 平均时间: 0 26198 0.00 0.20 0.00 0.20 - watch
4、场景三：大量进程的场景
当系统中运行进程超出CPU运行能力时，就会出现等待CPU的进程。
比如，我们还是使用stress，但这次模拟的 是8个进程：
1、窗口1
[root@luoahong ~]# stress -c 8 --timeout 600 stress: info: [5270] dispatching hogs: 8 cpu, 0 io, 0 vm, 0 hdd
2、窗口2
[root@luoahong ~]# uptime 21:16:07 up 1:43, 3 users, load average: 5.98, 2.14, 1.19
3、窗口3
[root@lhr ~]# pidstat -u 5 1 Linux 3.10.0-957.21.3.el7.x86_64 (lhr) 2019年10月29日 _x86_64_ (2 CPU) 18时31分45秒 UID PID %usr %system %guest %CPU CPU Command 18时31分50秒 0 1027 0.00 0.20 0.00 0.20 1 AliYunDun 18时31分50秒 0 26512 25.30 0.00 0.00 25.30 0 stress 18时31分50秒 0 26513 24.90 0.00 0.00 24.90 1 stress 18时31分50秒 0 26514 24.70 0.00 0.00 24.70 0 stress 18时31分50秒 0 26515 24.90 0.00 0.00 24.90 1 stress 18时31分50秒 0 26516 24.90 0.00 0.00 24.90 1 stress 18时31分50秒 0 26517 25.10 0.00 0.00 25.10 0 stress 18时31分50秒 0 26518 24.90 0.00 0.00 24.90 0 stress 18时31分50秒 0 26519 24.70 0.00 0.00 24.70 1 stress 平均时间: UID PID %usr %system %guest %CPU CPU Command 平均时间: 0 1027 0.00 0.20 0.00 0.20 - AliYunDun 平均时间: 0 26512 25.30 0.00 0.00 25.30 - stress 平均时间: 0 26513 24.90 0.00 0.00 24.90 - stress 平均时间: 0 26514 24.70 0.00 0.00 24.70 - stress 平均时间: 0 26515 24.90 0.00 0.00 24.90 - stress 平均时间: 0 26516 24.90 0.00 0.00 24.90 - stress 平均时间: 0 26517 25.10 0.00 0.00 25.10 - stress 平均时间: 0 26518 24.90 0.00 0.00 24.90 - stress 平均时间: 0 26519 24.70 0.00 0.00 24.70 - stress
可以看出，8 个进程在争抢 2 个 CPU，每个进程等待CPU 的时间（也就是代码块中的 %wait 列）高达 75%这些超出 CPU 计算能力的进程，最终导致 CPU 过载。
五、小结
1、平均负载高有可能是 CPU 密集型进程导致的； 2、平均负载负载高并不一定代表 CPU 使用率高，还有可能是 I/O I/O 更繁忙了 3、当发现负载高的时候，你可以使用 mpstat、pidstat等工具，辅助分析负载的来源
