摘要：YARN和MR1的区别： 1、YARN1框架分为资源调度和任务调度，而MR1中都由JobTracker完成。YARN是一个通用的分布式调度系统。 2、MR1的setUp和cleanUp等任务，是在TaskTracker上的任务执行，具体的实现见OutputCommitter。YARN的setUp和c 阅读全文

摘要：转自：https://www.zybuluo.com/frank-shaw/note/206604 MapReduce基本过程 关于MapReduce中数据流的传输过程，下图是一个经典演示： 关于上图，可以做出以下逐步分析： OK，大致的步骤就是这样。这里面有很多实践上的细节值得注意。本人经验为0， 阅读全文

摘要：本文转自：Hadoop MapReduce 工作机制 工作流程 作业配置 相对不难理解。 具体略。 作业提交 首先熟悉上图，4个实例对象： client jvm、jobTracker、TaskTracker、SharedFileSystem MapReduce 作业可以使用 JobClient.ru 阅读全文

摘要：问题：reduce输出时，如果不是推测任务写结果时会先写临时目录最后移动到输出目录吗？ 下面部分转自Hadoop官网说明 OutputFormat 描述Map/Reduce作业的输出样式。 Map/Reduce框架根据作业的OutputFormat来： 检验作业的输出，例如检查输出路径是否已经存在。 阅读全文

摘要：参见http://blog.csdn.net/hanchengxi/article/details/19089589 磁盘的读写速率一般为大概200MB/S 三星SSD的性能（三星 MZ-750120B） 参见https://detail.tmall.com/item.htm?spm=a220m.1 阅读全文