spark source code 分析之ApplicationMaster overview(yarn deploy client mode)

  一直不是很清楚ApplicationMaster的作用,尤其是在yarn client mode和cluster mode的区别

 网上有一些非常好的资料,请移步: https://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/

 然而还是不如直接看source code来的真切,参考spark source code(2.1.0)

简单解释下如下图片:

master 即为ApplicationMaster

可以看到 前面即为建立rpc env, 并且取得与driver之间的联系

master本身依赖自身的amEndpoint与driver 通过event驱动

还有自身reportThread 靠allocator与resource manager通信,分配资源

 

 

posted @ 2017-06-30 17:07  大达大  阅读(209)  评论(0编辑  收藏  举报