Hadoop（二十）Yarn工作原理

Yarn资源调度器

• Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序

一、基础架构

• YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成

二、YARN工作机制

• 假设现在有一个程序MR

（1）MR程序提交到客户端所在的节点
（2）YarnRunner向ResourceManager申请一个Application
（3）ResourceManager将该应用程序的资源路径返回给YarnRunner
（4）该程序将运行所需资源提交到HDFS上
（5）程序资源提交完毕后，申请运行mrAppMaster
（6）ResourceManager将用户的请求初始化成一个Task
（7）其中一个NodeManager领取到Task任务
（8）该NodeManager创建容器Container，并产生MRAppmaster
（9）Container从HDFS上拷贝资源到本地
（10）MRAppmaster向ResourceManager申请运行MapTask资源
（11）ResourceManager将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个 NodeManager分别启动MapTask，MapTask对数据分区排序
（13）MrAppMaster等待所有MapTask运行完毕后，向ResourceManager申请容器，运行ReduceTask
（14）ReduceTask向MapTask获取相应分区的数据
（15）程序运行完毕后，MR会向ResourceManager申请注销自己

三、Yarn调度器和调度算法

• Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler），Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler

1、先进先出调度器（FIFO）

• 单队列，根据提交作业的先后顺序，先来先服务
• 优点：简单易懂
• 缺点：不支持多队列，生产环境很少使用

2、容量调度器（Capacity Scheduler）

特点

• 多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略
• 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
• 灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列
• 多租户：支持多用户共享集群和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定

容器调度器资源分配算法

• 队列资源分配：从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源
• 作业资源分配：默认按照提交作业的优先级和提交时间顺序分配资源
• 容器资源分配：按照容器的优先级分配资源；如果优先级相同，按照数据本地性原则：
  （1）任务和数据在同一节点
  （2）任务和数据在同一机架
  （3）任务和数据不在同一节点也不在同一机架

3、公平调度器（Fair Scheduler）

• 按照公平策略分配资源

与容量调度器的相同点

• 多队列：支持多队列多作业
• 容量保证：管理员可为每个队列设置资源最低保证和资源使用上线
• 灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列
• 多租户：支持多用户共享集群和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定

与容量调度器的不同点

• 核心调度策略不同
  容量调度器：优先选择资源利用率低的队列
  公平调度器：优先选择对资源的缺额比例大的
• 每个队列可以单独设置资源分配方式
  容量调度器：FIFO、 DRF
  公平调度器：FIFO、FAIR、DRF

4、缺额：某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”，调度器会优先为缺额大的作业分配资源