摘要： 3.Yarn3.1.工作机制详解MR程序提交到客户端所在的节点。YarnRunner向ResourceManager申请一个Application。RM将该应用程序的资源路径返回给YarnRunner。该程序将运行所需资源提交到HDFS上。程序资源提交完毕后，申请运行mrAppMaster 阅读全文

摘要： 2.mapReduce2.1.MapReduce定义apReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。2.2. 阅读全文

摘要： 1.HDFS1.1.HDFS概念首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件 其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；1.2.优点 1.2.1.支持超大文件支持超大文件。超大文件在这里指的是几百M，几百GB，甚至几TB大小的文件 阅读全文