摘要：
一、Spark 运行架构Spark 运行架构如下图：各个RDD之间存在着依赖关系，这些依赖关系形成有向无环图DAG，DAGScheduler对这些依赖关系形成的DAG，进行Stage划分，划分的规则很简单，从后往前回溯，遇到窄依赖加入本stage，遇见宽依赖进行Stage切分。完成了Stage的划分,DAGScheduler基于每个Stage生成TaskSet,并将TaskSet提交给TaskSc... 阅读全文
posted @ 2016-07-20 09:26
听风居士
阅读(6593)
评论(0)
推荐(0)
浙公网安备 33010602011771号