2015年7月27日
MapReduce：详解Shuffle过程
摘要： Shuffle过程，也称Copy阶段。reduce task从各个map task上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定的阀值，则写到磁盘上，否则直接放到内存中。官方的Shuffle过程如上图所示，不过细节有错乱，官方图并没有说明partition、sort和combiner具体作... 阅读全文
posted @ 2015-07-27 17:53 大数据从业者FelixZh 阅读(26462) 评论(5) 推荐(6)
大数据从业者