摘要: MapReduce 默认分组 MapReduce 程序的 Map 阶段将按行读取数据,然后 MapTask 任务输出 <Key,Value> 键值对 MapReduce 程序的 Reduce 阶段先按照分区器将 <Key,Value> 键值对划分到不同的分区中(即 ReduceTask) MapRe 阅读全文
posted @ 2021-12-03 17:51 追こするれい的人 阅读(213) 评论(0) 推荐(0)
摘要: ReduceTask 并行度 MapTask 并行度的数量由切片数决定 ResuceTask 并行度的数量是需要用户手动设置(如果不设置默认为 1) MapReduce 程序最终生成的结果文件 (part-r-xxxxx) 数量由 ReduceTask 并行度的数量决定 ReduceTask 并行度 阅读全文
posted @ 2021-12-03 17:15 追こするれい的人 阅读(573) 评论(0) 推荐(0)