mapreduce原理初看

1.角色：MRAppMaster、maptask、reducetask

2.作用：MRAppMaster：根据task的状态，调度task；

　　　　maptask：处理maptask的流程；

　　　　reducetask：处理reducetask的流程；

3.举例wordcount：先启动MRAppMaster，根据job的信息启动maptask；

然后执行maptask流程：inputformat，readrecord从文件中读取每行《k，v》传递给map函数；

map函数处理好后就缓存起来，缓存达到一定的数量就溢出磁盘；

当maptask处理完后，reducetask会fetch数据，把k相同的作为一组，v是这组值得迭代器；

在reduce函数中处理好后就outputformat写到文件中。