资源调用框架YARN

YARN：不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度

YARN架构：

　　1）ResourceManager：RM　　

　　　　整个集群中同一时间只有一个提供服务，负责集群资源的统一管理和调度；

　　　　处理客户端请求，提交一个作业、杀死一个作业；

　　　　监控NM，一旦NM挂了，那么该NM上运行的任务需要告诉我们的AM来如何进行处理

　　2）NodeManager：

　　　　NM 这个集群中多个，负责本身节点资源管理和使用；

　　　　定时向RM汇报本节点的资源使用情况；、

　　　　接收并处理来自RM的各种命令：启动Container

　　　　处理来自AM的命令

　　　　单个节点的资源管理

　　3）ApplicationMaster：

　　　　AM 每一个应用程序对应一个：MR，Spark，负责应用程序的管理；

　　　　为应用程序向RM申请资源（core、memory），分配给内部的task；

　　　　运行在NodeManager，需要与NM通信：启动、停止task，task是运行在container里面，AM也是运行在Container里面

　　4）Container　　

　　　　封装了CPU、Memory等资源的一个容器

　　　　是一个任务运行环境的抽象

　　5）Client

　　　　提交作业

　　　　查询作业的运行进度

　　　　杀死作业