2019年7月26日
spark 源码分析之二十 -- Stage的提交
摘要： 引言 上篇 spark 源码分析之十九 -- DAG的生成和Stage的划分 中，主要介绍了下图中的前两个阶段DAG的构建和Stage的划分。 本篇文章主要剖析，Stage是如何提交的。 rdd的依赖关系构成了DAG，DAGScheduler根据shuffle依赖关系将DAG图划分为一个一个小的st 阅读全文
posted @ 2019-07-26 19:48 JohnnyBai 阅读(1401) 评论(0) 推荐(1) 编辑