yarn资源调度之FairScheduler

之前的一篇文章是讲的CapacityScheduler调度器。

本篇文章讲下FairScheduler调度器，两篇文章可以结合看效果更好。

主要的配置文件为yarn-site.xml 和 fair-scheduler.xml。

 

以下介绍yarn-site.xml文件的配置参数：

1. yarn.resourcemanager.scheduler.class：无默认值，必须配置，平衡调度器设为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。
2. yarn.scheduler.fair.allocation.file：自定义XML配置文件，默认为fair-scheduler.xml
3. yarn.scheduler.fair.user-as-default-queue：当应用程序未指定队列名时，是否指定用户名作为应用程序所在的队列名。如果设置为false或者未设置，所有未知队列的应用程序将被提交到default队列中，默认值为true。
4. yarn.scheduler.fair.preemption：是否启用抢占机制，默认值是false.
5. yarn.scheduler.fair.sizebasedweight：在一个队列内部分配资源时，默认情况下，采用公平轮询的方法将资源分配各各个应用程序，而该参数则提供了另外一种资源分配方式：按照应用程序资源需求数目分配资源，即需求资源数量越多，分配的资源越多。默认情况下，该参数值为false.
6. yarn.scheduler.assignmultiple：是否启动批量分配功能。当一个节点出现大量资源时，可以一次分配完成，也可以多次分配完成。默认情况下，该参数值为false。
7.  yarn.scheduler.fair.max.assign：如果开启批量分配功能，可指定一次分配的container数目。默认情况下，该参数值为-1，表示不限制。
8. yarn.scheduler.fair.locality.threshold.node：当应用程序请求某个节点上资源时，它可以接受的可跳过的最大资源调度机会。当按照分配策略，可将一个节点上的资源分配给某个应用程序时，如果该节点不是应用程序期望的节点，可选择跳过该分配机会暂时将资源分配给其他应用程序，直到出现满足该应用程序需的节点资源出现。通常而言，一次心跳代表一次调度机会，而该参数则表示跳过调度机会占节点总数的比例，默认情况下，该值为-1.0，表示不跳过任何调度机会。
9. yarn.scheduler.fair.locality.threshold.rack：当应用程序请求某个机架上资源时，它可以接受的可跳过的最大资源调度机会。
10. yarn.scheduler.increment-allocation-mb：内存规整化单位，默认是1024，这意味着，如果一个Container请求资源是1.5GB，则将被调度器规整化为ceiling(1.5 GB / 1GB) * 1G=2GB。
11. yarn.scheduler.increment-allocation-vcores：虚拟CPU规整化单位，默认是1，含义与内存规整化单位类似。

总结：一般配置参数1和参数4(可选)。其他的基本使用默认配置即可。

 

以下是fair-scheduler.xml文件的配置参数：

1. minResources ：最少资源保证量，设置格式为“X mb, Y vcores”，当一个队列的最少资源保证量未满足时，它将优先于其他同级队列获得资源，对于不同的调度策略（后面会详细介绍），最少资源保证量的含义不同，对于fair策略，则只考虑内存资源，即如果一个队列使用的内存资源超过了它的最少资源量，则认为它已得到了满足；对于drf策略，则考虑主资源使用的资源量，即如果一个队列的主资源量超过它的最少资源量，则认为它已得到了满足。
2. maxResources：最多可以使用的资源量，fair scheduler会保证每个队列使用的资源量不会超过该队列的最多可使用资源量。
3. maxRunningApps：最多同时运行的应用程序数目。通过限制该数目，可防止超量Map Task同时运行时产生的中间输出结果撑爆磁盘。
4. minSharePreemptionTimeout：最小共享量抢占时间。如果一个资源池在该时间内使用的资源量一直低于最小资源量，则开始抢占资源。
5. schedulingMode/schedulingPolicy：队列采用的调度模式，可以是fifo、fair或者drf。
6. aclSubmitApps：可向队列中提交应用程序的Linux用户或用户组列表，默认情况下为“*”，表示任何用户均可以向该队列提交应用程序。需要注意的是，该属性具有继承性，即子队列的列表会继承父队列的列表。配置该属性时，用户之间或用户组之间用“，”分割，用户和用户组之间用空格分割，比如“user1, user2 group1,group2”。
7. aclAdministerApps：该队列的管理员列表。一个队列的管理员可管理该队列中的资源和应用程序，比如可杀死任意应用程序。

 

哪些情况下会发生抢占

• 最小资源抢占, 当前queue的资源无法保障时，而又有apps运行，需要向外抢占.
• 公平调度抢占, 当前queue的资源为达到max，而又有apps运行，需要向外抢占.

 yarn支持app应用程序转换队列：yarn application -movetoqueue appID -queue targetQueueName

 

参考文献：https://blog.csdn.net/sinat_29581293/article/details/58143159