MapReduce任务运行过程

 

 

 

MR on YARN任务启动过程：

1、MR client 与NN通信，生成split信息，然后将split信息、jar包、运行配置信息上传到hdfs.

2、MR client向RM申请AppMaster。

3、RM分配到NM,NM启动AM。

4、AM向RM申请资源。

5、RM分配资源，对应的NM启动container。

6、container启动后向AM注册。

7、AM将任务发送到各个container。

8、container接收任务，从hdfs下载任务信息，启动任务。