2017年5月5日
Spark --【宽依赖和窄依赖】
摘要： 前言 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关 阅读全文
posted @ 2017-05-05 11:49 楚时邀月 阅读(3992) 评论(0) 推荐(1) 编辑