2021年5月28日
Spark 任务执行的流程
摘要： Spark 任务执行的流程 四个步骤1.构建DAG（调用RDD上的方法）2.DAGScheduler将DAG切分Stage（切分的依据是Shuffle），将Stage中生成的Task以TaskSet的形式给TaskScheduler3.TaskScheduler调度Task（根据资源情况将Task调 阅读全文
posted @ 2021-05-28 11:12 每天都要进步啊 阅读(1067) 评论(0) 推荐(0)
Spark任务执行各对象创建的时机
摘要： 1.SparkContext哪一端生成的？ Driver端 2.DAG是在哪一端被构建的？ Driver端 3.RDD是在哪一端生成的？ Driver端 4.广播变量是在哪一端调用的方法进行广播的？ Driver端 5.要广播的数据应该在哪一端先创建好再广播呢？ Driver端 6.调用RDD的算子 阅读全文
posted @ 2021-05-28 10:58 每天都要进步啊 阅读(55) 评论(0) 推荐(0)