2017年6月3日
mapreduce shuffle 和sort 详解
摘要： MapReduce 框架的核心步骤主要分两部分：Map 和Reduce。当你向MapReduce 框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map 任务，然后分配到不同的节点上去执行，每一个Map 任务处理输入数据中的一部分，当Map 任务完成后，它会生成一些中间文件，这些中间文件将会作 阅读全文
posted @ 2017-06-03 15:15 吊车尾88 阅读(542) 评论(0) 推荐(0)