2016年10月27日
MR原理
摘要： 三、MapReduce运行原理 1、Map过程简述： 1）读取数据文件内容，对每一行内容解析成<k1,v1>键值对，每个键值对调用一次map函数 2）编写映射函数处理逻辑，将输入的<k1,v1>转换成新的<k2,v2> 3）对输出的<k2,v2>按reducer个数和分区规则进行分区 4）不同的分区 阅读全文
posted @ 2016-10-27 11:31 混沌战神阿瑞斯 阅读(3691) 评论(0) 推荐(1)