2017年4月6日
Spark Stage切分 源码剖析——DAGScheduler
摘要： Spark中的任务管理是很重要的内容，可以说想要理解Spark的计算流程，就必须对它的任务的切分有一定的了解。不然你就看不懂Spark UI,看不懂Spark UI就无法去做优化...因此本篇就从源码的角度说说其中的一部分，Stage的切分——DAG图的创建 先说说概念 在Spark中有几个维度的概 阅读全文
posted @ 2017-04-06 18:54 xingoo 阅读(2906) 评论(0) 推荐(0)