2016年1月22日
我为什么要区分MR和Spark的shuffle
摘要： MR的shuffle阶段，用一张图就可以说明了： map阶段的输出结果会放在缓冲区中，另有一个较小的缓冲区维护了这个缓冲区中键值对+分区号的索引。当该缓冲区快满时，会对其索引进行排序，然后spill到磁盘上。当所有数据都spill到磁盘上后，会对这些碎片文件进行合并，这个过程中同样会发生排序和归并... 阅读全文
posted @ 2016-01-22 16:22 少妇眼中的蛮牛哥 阅读(886) 评论(0) 推荐(0)