2018年8月1日

宽依赖与窄依赖

摘要： 窄依赖：Narrow Dependency 父RDD和子RDD是一对一的依赖关系，如map，filter 宽依赖：Shuffle Dependency 本质就是shuffle。如reduceByKey，groupyByKey，父RDD一个分区数据给了子RDD的多个分区 存在shuffle就是宽依赖， 阅读全文

posted @ 2018-08-01 14:26 打杂滴 阅读(1525) 评论(0) 推荐(0)

博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3