2020 年 5月 9 日随笔档案 - 清浊

2020年5月9日

摘要： 1、基于Spark内核架构也就是standalone提交，基于自己的Master-worker集群。Driver在本地启动， 2、基于yarn的yarn-cluster模式，要先分配container，然后在yarn进群的一个nodeManager上启动Driver。 3、基于yarn的yarn-c 阅读全文

posted @ 2020-05-09 17:34 清浊阅读(258) 评论(0) 推荐(0)

spark内核源码解析一

摘要： 1、Application，自己编写的spark程序。2、spark-submit，利用shell来提交自己的spark程序3、Driver，standalone提交方式，会通过反射构造出一个Driver进程。Driver进程会执行application程序。4、SparkContext，Drive 阅读全文

posted @ 2020-05-09 17:05 清浊阅读(187) 评论(0) 推荐(0)