Hadoop MapReduce

学习MapReduce，首先要理解它的思想——分而治之，先分再合，分而治之，所谓的分而治之，意思就是将一个复杂的问题，按照一定的分解方法分解为规模较小的若干的部分，再逐个解决，分别找出各部分的结果，然后把各部分的结果组成整个问题的最终结果。

在这里，先附上一张MapReduce的整体流程图

 

 

 

 

 

 

 

MapReduce的执行阶段可以分为Map阶段和Reduce阶段，其中还有一个非常重要的机制——Shuffle机制

  先介绍Map阶段

 

 

 

 

 

 接下来介绍Reduce阶段

MapReduce中非常重要的机制——shuffle机制

 

 

 

 

 

 

 

 

 但shuffle机制也存在着许多弊端