任务优先级

容量调度器，支持任务优先级的配置，在资源紧张时，优先级高的任务将优先获取资源。默认情况，Yarn将所有任务的优先级限制为0，若想使用任务的优先级功能，须开放该限制。

（1）修改yarn-site.xml文件，增加以下参数

<property>
    <name>yarn.cluster.max-application-priority</name>
    <value>5</value>
</property>

 

（2）分发配置;：xsync yarn-site.xml， 并重启YARN

 

（3）模拟资源紧张环境（查看优先级），可连续提交以下任务，直到新提交的任务申请不到资源为止。

   hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 5 2000000

 

（4）再次重新提交优先级高的任务

   hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi  -D mapreduce.job.priority=5 5 2000000

   注: -D表示运行时改变参数值

 

（5）也可以通过以下命令修改正在执行的任务的优先级

   yarn application -appID <ApplicationID> -updatePriority 优先级

   如：yarn application -appID application_1611133087930_0009 -updatePriority 5