大数据05

hadoop是分布式系统基础架构：

1）主要解决的是海量数据的存储和海量数据的分析计算

2）haddop的三大发行版本，一下这个是免费的版本

 

 3）hadoop的优势

高可靠性、高扩展性、高效性（并行工作）、高容错性

4）hadoop1.x组成：common辅助工具、hdfs数据存储、MapReduce计算+资源调度

5）HDFS架构的概述：

1、NAmeNode：存储文件的元数据（比如文件名、文件目录结构、文件属性）

2、DataNode在本地的文件系统村吓唬文件块数据以及块数据的检验和

3、secondary NameNode是辅助NameNode的

5）Yarn架构：

以下是ResourceMAnager的主要的作用

1、处理客户端请求

2、监控NodeManager

3、启动或监控ApplicationMaster

4、资源的分配与调度

以下是NodeManager主要的作用如下：

1、管理单的节点上的资源

2、处理来自ResourceManager的命令

3、处理来时ApplicationMaster的命令

以下是Applicatonmaster的作用：

1、负责数据的切分

2、为应用程序申请资源并分配给内部的任务

3、任务的监控和容错

以下是containter：

是yarn的资源抽象，如内存

6）mapreduce架构的概述

将计算的过程分为了两个阶段：Map和Reduce这两个。其中Map阶段是负责分的而reduce是负责和的