Spark内核源码解析三:三种提交模式
1、基于Spark内核架构也就是standalone提交,基于自己的Master-worker集群。Driver在本地启动,
2、基于yarn的yarn-cluster模式,要先分配container,然后在yarn进群的一个nodeManager上启动Driver。
3、基于yarn的yarn-client模式,就是本地提交。
如果,你要切换到第二种和第三种模式,很简单,将我们之前用于提交spark应用程序的spark-submit脚本,加上--master参数,设置为yarn-cluster,或yarn-client,即可。如果你没设置,那么,就是standalone模式。

提交脚本如下
/usr/local/spark/bin/spark-submit \
--class cn.spark.study.core.WordCountCluster \
--num-executors 3 \
--driver-memory 100m \
--executor-memory 100m \
--executor-cores 3 \
--master yarn-cluster/yarn-client
浙公网安备 33010602011771号