Spark源码系列02-SparkContext
用的spark版本1.3+
1.SparkSubmit
bin/spark-submit --class xx.WordCount --master spark://ip:7077 --executor-memory 2g --total-executor-cores 4
2.WordCount
new()
3.SparkContext
该方法创建一个ActorSystem
createSparkEnv
4.SparkContext
创建Driver的运行时环境,注意这里的numDriverCores是local模式下用来执行计算的cores的个数,如果不是本地模式的话就是0
SparkEnv.createDriverEnv(conf, isLocal, listenerBus, SparkContext.numDriverCores(master))
为driver创建一个SparkEnv
conf:SparkConf conf 是对SparkConf的复制
listenerBus 才用监听器模式维护各类事件处理
private[spark] def createDriverEnv(
conf: SparkConf,
isLocal: Boolean,
listenerBus: LiveListenerBus,