4 weekend110的YARN的通用性意义 + yarn的job提交流程


Mr程序写完之后,提交给yarn,yarn会产生一个MRAppMaster,想说的是,yarn变得很
通用,yarn集群上,不光可以跑mr程序,还可以跑各种运算模型。
海量批处理,mapreduce
海量实时处理,spark
海量流式处理,storm
Mapreduce实现,MRAppMaster
Spark实现,spark AppMaster
Storm实现,storm AppMaster
说明,有了hdfs和yarn,什么框架都畅通无阻,运行。
以上是weekend110的YARN的通用性意义

































按F5或者open declaration,





































下面,来玩玩YarnClientProtocolProvider



















































































因为,上面的断点,只执行到这里,所以这边的也显示到这步。





好的,以上是weekend110的yarn的job提交流程的源码跟踪分析。
Soga,可谓,真的,写源码的人牛逼,我这跟踪源码学习过程,学会到程序的循序渐进,,,



作者:大数据和人工智能躺过的坑
出处:http://www.cnblogs.com/zlslch/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利。
如果您认为这篇文章还不错或者有所收获,您可以通过右边的“打赏”功能 打赏我一杯咖啡【物质支持】,也可以点击右下角的【好文要顶】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力!

浙公网安备 33010602011771号