摘要: 备忘 Cli: 1、会根据每次计算的数据,咨询NN元数据(block)计算:split得到一个切片清单; 这样map的数量就有了。Split时逻辑的,block是物理的。block身上有(offset,location),split和block之间有映射关系。 结果:split包含偏移量,以及spl 阅读全文
posted @ 2021-06-10 18:43 Simon-Lau 阅读(349) 评论(0) 推荐(0) 编辑
摘要: 不得不说阅读源码的过程,极其痛苦 。Dream Car 镇楼 ~ ! 虽说整个MapReduce过程也就只有Map阶段和Reduce阶段,但是仔细想想,在Map阶段要做哪些事情?这一阶段具体应该包含数据输入(input),数据计算(map),数据输出(output),这三个步骤的划分是非常符合思维习 阅读全文
posted @ 2021-06-10 18:30 Simon-Lau 阅读(311) 评论(0) 推荐(0) 编辑