YARN的job提交流程

1.客户端向ResourceManagement 提交 运行的请求 (hadoop jar xxxx.jar)

2.ResourceManager进行检查,没有问题的时候,向客户端返回一个共享资源的路径以及JobId

3.客户端HDFS提交资源,将共享资源放入共享路径下:(/tmp/hadoop-yarn/staging-dir/xxxxxxxx)

4.客户端ResourceManager反馈共享资源放置完毕,进行job的正式提交

5.ResourceManager为这个job分配一个节点,并在这个节点上启动MRAppMaster任务

6.ResourceManager到对应的节点上去启动container容器用于装载MRAppMaster

7.MRAppMaster对job进行初始化,生成一个job工作簿,job的工作簿记录着maptask和reduce的运行进度和状态

8.MRAppMasterResourceManager申请maptaskreducetask的运行的资源,先发maptask然后发reducetask

9.ResourceManagerMRAppMaster返回maptaskreduce的资源节点

 

 

 

 

posted @ 2019-11-05 22:47  听风是雨  阅读(1966)  评论(0编辑  收藏  举报
/* 看板娘 */