怎么理解平均负载（一）
一、概念
平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃数，他和cpu使用率没有直接关系，这里解释下可运行状态和不可中断状态这两个词。
所谓可运行状态是指正在使用cpu或正在等待cpu的进程，可就是我们用ps命令查看处于R状态的进程。
不可中断状态的进程则是正处于内核态关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备的I/O响应，也就是我们用ps命令看到的D状态的进程
二、平均负载多少合理
首先要看服务器逻辑cpu个数。可以通过如下命令查询
cat /proc/cpuinfo |grep "model name" |wc -l
2
有了cpu个数，如果平均负载比cpu个数还大，表示系统已经出现了过载
三、平均负载与cpu使用率区分
平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数。所以，它不仅包括了正在使用cpu的进程，还包括等待cpu和等待I/O的进程
而cpu使用率，是指单位时间内cpu繁忙情况的统计，跟平均负载并不一定完全对应，比如：
cpu密集型进程，使用大量cpu会导致平均负载升高，同事cpu使用率也跟着升高，两者是一样的。
I/O密集型进程，等待I/O也会导致平均负载升高，但cpu使用率不一定很高。
大量等待cpu的进程调度也会导致平均负载升高，此时的cpu使用率也会比较高。
四、工具介绍
stress 是Linux系统压力测试工具，这里我们用作异常进程模拟平均负载升高的场景
sysstat 是Linux性能工具，用来监控和分析系统的性能，一般会用到这个包的两个命令mpstat 和 pidstat
mpstat 是常用的多核cpu性能分析工具，用来实时查看每个cpu的性能指标以及所有cpu的平均指标
pidstat 是一个常用的进程性能分析工具，用来实时查看进程的cpu、内存、I/O以及上下文切换等性能指标
五、cpu密集型进程
首先开三个终端，便于查看，我们在第一个终端运行stress 命令，模拟一个cpu使用率100%的场景
stress --cpu 1 --timeout 600
接着在第二个终端运行uptime查看平均复杂运行情况
##-d 参数表示高亮显示变化的区域
#watch -d uptime 16:24:14 up 2:45, 7 users, load average: 0.92, 0.40, 0.28
最后在第三个终端运行mpstat 查看cpu使用率的变化情况
# -P ALL 表示监控所有 CPU，后面数字 5 表示间隔 5 秒后输出一组数据 $ mpstat -P ALL 5 Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:30:06 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 13:30:11 all 50.05 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 49.95 13:30:11 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 13:30:11 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
找出cpu使用率增高的进程
# 间隔 5 秒后输出一组数据 $ pidstat -u 5 1 13:37:07 UID PID %usr %system %guest %wait %CPU CPU Command 13:37:12 0 2962 100.00 0.00 0.00 0.00 100.00 1 stress
六、I/O密集型场景
首先运行stress 模拟I/O压力
stress -i 1 --timeout 600
第二个终端查看平均负载情况
watch -d uptime ..., load average: 1.06, 0.58, 0.37
第三个终端运行mpstat 查看cpu使用率的变化情况
# 显示所有 CPU 的指标，并在间隔 5 秒输出一组数据 $ mpstat -P ALL 5 1 Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:41:28 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 13:41:33 all 0.21 0.00 12.07 32.67 0.00 0.21 0.00 0.00 0.00 54.84 13:41:33 0 0.43 0.00 23.87 67.53 0.00 0.43 0.00 0.00 0.00 7.74 13:41:33 1 0.00 0.00 0.81 0.20 0.00 0.00 0.00 0.00 0.00 98.99
到底是什么进程导致iowait这么高呢
# 间隔 5 秒后输出一组数据，-u 表示 CPU 指标 $ pidstat -u 5 1 Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:42:08 UID PID %usr %system %guest %wait %CPU CPU Command 13:42:13 0 104 0.00 3.39 0.00 0.00 3.39 1 kworker/1:1H 13:42:13 0 109 0.00 0.40 0.00 0.00 0.40 0 kworker/0:1H 13:42:13 0 2997 2.00 35.53 0.00 3.99 37.52 1 stress 13:42:13 0 3057 0.00 0.40 0.00 0.00 0.40 0 pidstat
可以看出是stress导致的
七、大量进程场景
当系统中运行进程超出cpu运行能力时，就会出现等待cpu进程
比如，我们还是用stress模拟8个进程
stress -c 8 --timeout 600
由于系统只有2个cpu,明显比8个进程小得多，因而cpu处于严重过载
uptime ..., load average: 7.97, 5.93, 3.02
pidstat 查看进程情况
# 间隔 5 秒后输出一组数据 $ pidstat -u 5 1 14:23:25 UID PID %usr %system %guest %wait %CPU CPU Command 14:23:30 0 3190 25.00 0.00 0.00 74.80 25.00 0 stress 14:23:30 0 3191 25.00 0.00 0.00 75.20 25.00 0 stress 14:23:30 0 3192 25.00 0.00 0.00 74.80 25.00 1 stress 14:23:30 0 3193 25.00 0.00 0.00 75.00 25.00 1 stress 14:23:30 0 3194 24.80 0.00 0.00 74.60 24.80 0 stress 14:23:30 0 3195 24.80 0.00 0.00 75.00 24.80 0 stress 14:23:30 0 3196 24.80 0.00 0.00 74.60 24.80 1 stress 14:23:30 0 3197 24.80 0.00 0.00 74.80 24.80 1 stress 14:23:30 0 3200 0.00 0.20 0.00 0.20 0.20 0 pidstat
可以看出，8个进程竞争2个cpu,每个进程等待cpu的时间（也就是代码块中的%wait）高达75%，这些超出cpu计算能力的进程，最终导致cpu过载
