Hadoop——体系结构概述

2019-11-26

17:30:00

 

一、HDFS的体系结构和运行原理

1、主节点：NameNode 
--管理维护HDFS
2、从节点：DataNode 
--保存数据块
3、第二名称节点：SecondaryNameNode 
--定期日志合并

二、Yarn的体系结构和运行原理：运行MapReduce的容器

1、主节点：ResourceManager
职责：
（*）接收任务请求
（*）资源的分配
（*）任务分配
2、从节点：NodeManager
职责：
（*）从ResourceManager获取任务和资源 
（*）执行
3、调度MR任务的过程
4、资源分配方式 
（1）FIFO Scheduler：先来先得 
（2）Capacity Scheduler：容器管理 
（3）Fair Scheduler：公平调度管理 ，前提：假设任务具有相同优先级，平均分配资源

三、HBase的体系结构和运行原理

HBase是基于HDFS之上的NoSQL数据库
1、主节点：HMaster
2、从节点：RegionServer