MapReduce编程模型

MapReduce编程模型

一种分布式计算模型框架，解决海量数据的计算问题

MapReduce将整个并行计算过程抽象到两个函数

　　map(映射)：对一些独立元素组成的列表的每一个元素进行指定的操作，可以高度并行

　　reduce:对一个列表的元素进行合并

 

一个简单的MapReduce程序只需要指定map(),reduce(),input和output，剩下的事有框架完成。

 

Map Task: 解析每条数据，传递给用户编写的map().

　　　　　　　 将map()输出的数据写入本地磁盘（如果是map-only作业则直接写入HDFS）

 

Reduce Taks:从Map Task上远程读取输入数据，对数据排序，将数据按照分钟传递给用户编写的reduce程序