2021年12月22日
03_MapReduce框架原理_3.7 Partition 分区个数、ReduceTask并行度、分区器
摘要： 1. Partition 分区个数、ReduceTask并行度、分区器 点击查看 分区器 源码 /* 分区器使用流程 1. Driver中 指定分区个数 和分区器实现类 分区个数(ReduceTask个数) : job.setNumReduceTasks(n) 或 mapreduce.job.red 阅读全文
posted @ 2021-12-22 17:41 学而不思则罔！ 阅读(130) 评论(0) 推荐(0)
03_MapReduce框架原理_3.6 Shuffle机制(源码)
摘要： 点击查看 Shuffle 流程图 点击查看 Shuffle 机制 说明 Hadoop 6. Shuffle 机制 - (流程) 1. 什么是Shuffle&Shuffle的作用 1. Map方法之后,Reduce方法之前的数据处理过程 称之为 Shuffle 2. 流程说明 1. MapTask 通 阅读全文
posted @ 2021-12-22 16:37 学而不思则罔！ 阅读(106) 评论(0) 推荐(0)