Hadoop学习二

HDFS 是分布式文件系统

NameNode(nn):存储文件的元数据，如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。

DataNode(dn):在本地文件系统存储文件块系统，以及块数据的校验和。

Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份

YARN是资源管理器

　　ResourceManager(RM):  管理整个集群资源(内存、cpu等)

NodeManager(NM):  管理单个节点服务器资源

ApplicationMaster(AM): 管理单个任务运行

Container:容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、cpu、磁盘、网络等。

说明：客户端可以由多个

　　　集群上可以运行多个ApplicationMaster

　　　每个NodeManager上可以由多个Container　

MapReduce架构 

MAP阶段并行处理输入数据

Reduce阶段对Map结果进行汇总