04 2020 档案

YARN原理
摘要：YARN原理 [TOC] 一、YARN是什么 概述： yarn是一个资源调度平台，负责为运算的程序提供运算所需的资源，相当于一个分布式的操作系统，而MapReduce就相当于运行在操作系统上的一个应用程序。 来由： yarn是hadoop2.0加入的一个框架，用来取代hadoop1.0中的 JobT 阅读全文
posted @ 2020-04-08 21:23 平凡的神灯 阅读(1480) 评论(0) 推荐(0)
2，MapReduce原理及源码解读
摘要：MapReduce原理及源码解读 [TOC] 一、分片 灵魂拷问：为什么要分片？ 分而治之： MapReduce(MR)的核心思想就是分而治之；何时分，如何分就要从原理和源码来入手。做为码农大家都知道，不管一个程序多么复杂，在写代码和学习代码之前最重要的就是搞懂输入和输出，而MR的输入其实就是一个目 阅读全文
posted @ 2020-04-01 18:26 平凡的神灯 阅读(3628) 评论(1) 推荐(2)