摘要: MapperReduce的shuffle shuffle阶段划分 Map阶段和Reduce阶段 任务 MapTask和ReduceTask shuffle过程 Map阶段shuffle:分区->排序->合并 ①数据从环形缓冲区溢写到磁盘前,需要先进行分区,然后区内排序 ②环形缓存区数据到达阈值(80 阅读全文
posted @ 2020-07-31 18:43 来自遥远的水星 阅读(952) 评论(0) 推荐(0)
摘要: 一. 建立对应得目录 二.导入junit依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> 阅读全文
posted @ 2020-07-31 14:31 来自遥远的水星 阅读(1494) 评论(0) 推荐(0)