随笔分类 - spark
摘要:YarnCoarseGrainedExecutorBackend源码分析 我们在applicationMaster中,发现他从rm申请了容器列表,经过一番筛选,遍历需要的容器然后联系nm去启动容器,在容器中又发现了他又开启了一个java线程,启动了YarnCoarseGrainedExecutorB
阅读全文
摘要:ApplicationMaster源码分析 我们从sparksubmit的源码中发现,当创建rmclient之后,我们在nm中启动了一个java进程applicationmaster val amClass = if (isClusterMode) { Utils.classForName("org
阅读全文
摘要:SparkSubmit提交流程分析 tips:分析基于如下执行命令开始 ./spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ ./examples/ja
阅读全文

浙公网安备 33010602011771号