Hadoop生态二---Hadoop资源管理调度平台Yarn

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，

YARN的重要概念

• yarn并不清楚用户提交的程序的运行机制

• yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源）

• yarn中的主管角色叫ResourceManager

• yarn中具体提供运算资源的角色叫NodeManager

这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序，tez ……
所以，spark、storm等运算框架都可以整合在yarn上运行，只要他们各自的框架中有符合yarn规范的资源请求机制即可
Yarn就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享

YARN在资源调度优化中是如何起作用的

核心组件ResourceManager和NodeManager

YARN通过其两个核心组件ResourceManager和NodeManager来实现资源调度。

ResourceManager

ResourceManager负责整个集群的资源管理和调度，维护集群中所有节点的资源信息，并根据应用程序的需求分配资源。它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。
RM包括Scheduler（定时调度器）和ApplicationManager（应用管理器）。

• Scheduler
  Schedular是一个资源调度器，它主要负责协调集群中各个应用的资源分配，保障整个集群的运行效率。
  Scheduler的角色是一个纯调度器，它只负责调度Containers，不会关心应用程序监控及其运行状态等信息，它不做监控以及应用程序的状态跟踪，并且不保证会重启应用程序本身或者硬件出错而执行失败的应用程序。
• ApplicationManager
  ApplicationManager主要负责接收job的提交请求，为应用分配第一个Container来运行
  还有就是负责监控ApplicationMaster，并在遇到失败时重启ApplicationMaster运行的Container

NodeManager

NodeManager是每个集群节点上的守护进程，负责管理单个节点上的资源，NodeManager负责接收处理来自ResourceManager的资源分配请求，分配具体的Container给应用。同时，它还负责监控并报告Container使用信息给ResourceManager。NodeManager只负责管理自身的Container，它并不知道运行在它上面应用的信息。负责管理应用信息的组件是ApplicationMaster

多种调度器支持

在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，Fair Scheduler。
这些调度器可以根据用户的需要进行选择和配置，以满足不同的资源调度需求。

Apache版本的hadoop默认使用的是Capacity Scheduler调度方式。CDH版本的默认使用的是Fair Scheduler调度方式, 可以在yarn集群的WEB UI页面查看当前使用的调度器类型

FIFO Scheduler

FIFO Scheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。

FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞，比如有个大任务在执行，占用了全部的资源，再提交一个小任务，则此小任务会一直被阻塞。

Capacity Scheduler

将资源划分为多个队列，每个队列具有特定的资源容量。管理员可以配置队列的容量和权重，以控制资源的分配。
对于Capacity调度器，有一个专门的队列用来运行小任务，但是为小任务专门设置一个队列会预先占用一定的集群资源，这就导致大任务的执行时间会落后于使用FIFO调度器时的时间。

Fair Scheduler

基于队列的资源分配策略，每个队列可以获得与其权重成比例的资源份额。它考虑了资源的公平性和效率，使所有作业都能公平地获取资源。

资源隔离和共享

Yarn通过容器的概念实现了资源的隔离和共享，每个应用程序都会分配到一定数量的容器，容器内包含了运行应用程序所需的资源（如CPU、内存等），这种资源隔离机制可以确保应用程序之间的资源互不干扰，提高了系统的稳定性和安全性，同时，Yarn还支持资源的动态共享和调度，当某个队列的资源有剩余时，可以将其暂时共享给其他队列，以充分利用集群的计算资源。

优化集群资源利用率

Yarn的调度器可以根据集群的资源使用情况和作业的需求进行动态调整和优化。。例如，当集群资源紧张时，调度器可以优先调度那些对资源需求较小的作业，或者将多个作业合并到同一个容器中运行以节省资源。此外，YARN还支持资源的预留和抢占机制，以确保关键作业能够获得足够的资源来保证其顺利执行。

YARN的资源调度流程

当jobclient向YARN提交一个应用程序后，YARN将分两个阶段运行这个应用程序：一是启动ApplicationMaster;第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，监控运行直到结束。

1. 用户向YARN 中提交应用程序， 其中包括ApplicationMaster 程序、启动ApplicationMaster 的命令、用户程序等。

2. ResourceManager 为该应用程序分配第一个Container， 并与对应的NodeManager 通信，要求它在这个Container 中启动应用程序的ApplicationMaster。

3. ApplicationMaster 首先向ResourceManager 注册， 这样用户可以直接通过ResourceManage 查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤4~7。

4. ApplicationMaster 采用轮询的方式通过RPC 协议向ResourceManager 申请和领取资源。

5. 一旦ApplicationMaster 申请到资源后，便与对应的NodeManager 通信，要求它启动任务。

6. NodeManager 为任务设置好运行环境（包括环境变量、JAR 包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。

7. 各个任务通过某个RPC 协议向ApplicationMaster 汇报自己的状态和进度，以让ApplicationMaster 随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可随时通过RPC 向ApplicationMaster 查询应用程序的当前运行状态。

8. 应用程序运行完成后，ApplicationMaster 向ResourceManager 注销并关闭自己。