Linux内核——进程管理之SMP负载均衡（基于版本4.x）

《奔跑吧linux内核》3.3笔记，不足之处还望大家批评指正

根据实际物理属性，CPU域分类如图1所示。

图1 CPU域分类

问题一：一个4核处理器中的每个物理CPU拥有独立L1 cache且不支持超线程技术，分成两个簇cluster0和cluster1，每个簇包含两个物理CPU核，簇中的CPU核共享L2cache。请画出该处理器在Linux内核里调度域和调度组的拓扑关系图。

 　　4核处理器关系图如图2所示，在不支持超线程技术的情况下，每个CPU核心只有一个执行线程，所以4核处理器没有SMT属性。cluster由两个CPU物理核组成，这两个CPU是MC层级且是兄弟关系。整个处理器可以看作DIE级别，因此该处理器只有两个层级，即MC和DIE。根据上述原则，画图图3所示上述4核处理器的调度域和调度组的拓扑关系图。

图2 4核处理器示意图

图3 4核处理器调度域和调度组的拓扑关系图

问题二：假设CPU0和CPU1同属于一个调度域中且它们都不是idle CPU，那么CPU1可以做负载均衡吗？

 　　CPU1不可以做负载均衡，默认约定优先由调度域中第一个CPU做负载均衡。此时，只有CPU0能做负载均衡，或者当CPU0不是空闲CPU，CPU1处于idle状态，CPU1才可以做负载均衡。

问题三：如何查找出一个调度域里最繁忙的调度组？

 　　在find_busiest_group()函数中，简单归纳步骤如下：

　　1)首先遍历该调度域中每个调度组，计算各个调度组中的平均负载等相关信息；

　　2)根据平均负载，找出最繁忙的调度组；

　　3)获取本地调度组的平均负载(avg_load)和最繁忙调度组的平均负载，以及该调度域的平均负载；

　　4)本地调度组的平均负载大于最繁忙组的平均负载，或者本地调度组的平均负载大于调度域的平均负载，说明不适合做负载均衡，退出此次负载均衡处理；

　　5)根据最繁忙组的平均负载、调度域的平均负载和本地调度组的平均负载来计算该调度域的需要迁移的负载不均衡值。

问题四：如果一个调度域负载不平衡，请问如何计算需要迁移多少负载量呢？

 　　计算方式如图4所示。当最繁忙的调度组合本地调度组都出现group_overloaded的情况下才会计算load_above_capacity，busiest.gcf指最繁忙调度组里的group_capacity_factor。公式查看最繁忙调度组的平均负载（组里每个CPU的平均负载，不是组的总负载）和本地调度组的平均负载，以及整个调度域的平均负载的差值来计算该调度域的负载不均衡值(env->imbalance)。最后如果计算出来的不均衡值比最繁忙域里的每个进程平均负载小，那么调用fix_small_imbalance()函数，该函数计算最小的不均衡值。（SCHED_CAPACITY_SCALE为1024）

图4 需要迁移的负载量的计算方式

问题五：使用内核提供的唤醒进程API，比如wake_up_process()来唤醒一个进程，那么进程唤醒后应该在哪个CPU上运行呢？是调用wake_up_process()的那个CPU，还是该进程之前运行的那个CPU，或者其他CPU呢？

 　　唤醒CPU记作wakeup CPU，上次运行的CPU称为prev CPU。

　　如果设置了SD_BALANCE_WAKE，在select_idle_sibling()函数中，优先选择idle CPU。如果没有idle CPU，就只能选择wakeup CPU和prev CPU。当找到一个具有亲和性的调度域且wakeup CPU和prev CPU不是一个CPU，wake_affine()函数会重新计算wakeup CPU和prev CPU的负载情况，如果wakeup CPU的负载加上被唤醒进程的负载比prev CPU小，那么wakeup CPU可以唤醒进程，否则选择prev CPU。

　　对于没有设置SD_BALANCE_WAKE的情况，变量sd指系统调度域中和sd_flag有相同标志位的调度域，然后开始向下遍历查找最悠闲的调度组和最悠闲的CPU唤醒进程。