摘要：
Shuffle原理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Shuffle原理 (1)map方法在将数据(K,V,P)写入到环形缓冲区之前就已经获取到分区编号了,只不过此时数据没有落地(溢写到磁盘); (2)当环形缓冲区数据快满时会发生数据溢写到磁盘,在溢写到磁盘之前会 阅读全文
posted @ 2020-03-20 23:06
JasonYin2020
阅读(927)
评论(0)
推荐(0)
摘要：
GroupingComparator分组(辅助排序/组内排序) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 如果我们不希望按照默认的key的比较进行分组时，此时就得启用GroupingComparator分组。 一.GroupingComparator分组概述 对Reduce阶 阅读全文
posted @ 2020-03-20 21:57
JasonYin2020
阅读(534)
评论(1)
推荐(0)
摘要：
合并(Combiner) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Combiner概述 Combiner是Mapper和Reducer之外的一种可选组件; Combiner组件的父类就是Reducer; Combiner和Reducer的区别在于运行的位置,Combin 阅读全文
posted @ 2020-03-20 00:28
JasonYin2020
阅读(578)
评论(0)
推荐(0)
浙公网安备 33010602011771号