2017年5月1日
MapReduce原理2
摘要： MapReduce的shuffle机制 1、概述 mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）； 具体来说：就是将maptask输出的 阅读全文
posted @ 2017-05-01 22:25 ahu-lichang 阅读(494) 评论(0) 推荐(0) 编辑