飞天虎

摘要： 一、SparkContext初始化配置 1. 设置conf: SparkConf，每次获取配置时读取conf.clone()，避免运行时改变2. 检查spark.master/spark.app.name/spark.driver.host/spark.driver.port/spark.jars3. SparkEnv.create()设置环境1) 创建名称为"spark"的ActorSystem 2) 设置序列化类3) 注册各种Manager4. 设置各种变量，TODO二、创建并启动TaskScheduler和DAGScheduler个人浅见：DAGScheduler的作 阅读全文