2020年4月29日
Spark调度管理【DAGScheduler，TaskScheduler】
摘要： 一.DAGScheduler SparkContext在初始化时，创建了DAG调度和Task调度来负责RDD Action操作的调度执行。 DAGScheduler负责Spark的最高级别的任务调度，调度的粒度是Stage，它为每个Job的所有Stage计算一个有向无环图，控制它们的并发，并找到一个 阅读全文
posted @ 2020-04-29 11:02 云山之巅 阅读(634) 评论(0) 推荐(0) 编辑