Spark源码系列02-SparkContext

用的spark版本1.3+

1.SparkSubmit

bin/spark-submit --class xx.WordCount  --master spark://ip:7077 --executor-memory 2g --total-executor-cores 4

 

2.WordCount

new()

 

3.SparkContext

该方法创建一个ActorSystem

createSparkEnv 

 

4.SparkContext 

创建Driver的运行时环境，注意这里的numDriverCores是local模式下用来执行计算的cores的个数，如果不是本地模式的话就是0

SparkEnv.createDriverEnv(conf, isLocal, listenerBus, SparkContext.numDriverCores(master))

为driver创建一个SparkEnv

conf:SparkConf conf 是对SparkConf的复制

listenerBus 才用监听器模式维护各类事件处理

private[spark] def createDriverEnv(

      conf: SparkConf,

      isLocal: Boolean,

      listenerBus: LiveListenerBus,