十七楼的羊

摘要： spark shuffle 过程分析:一普通机制: 1,首先 reduceBykey 是会将每一个 key 对应的所有value聚合成一个value,然后生成一个rdd,元素类型是形式，然后每一个k对应一个聚合起来的v 2,每一个k对应的v 不一定在一个节点之上，也不可能是在一个 partition中 3,聚合过程: 1),Shuffle Write 上一个map ... 阅读全文