学习随笔201027

分布式文件系统与分布式计算框架在1.x版本中只是最基本的形态，分布式计算框架在工作时，首先由resourcemanage下达命令，此时，会在其中一台nodemanager上生成一个APPmaster，由APPmaster计算本次任务所需多少资源，并向resourcemanage请求资源，resourcemanage进行响应，通知APPmaster这些资源应该向哪些nodemanager去取，以及应该怎样分配，之后APPmaster回去告知所用到的nodemanager自己的需求，工作开始进行，在工作结束时，APPmaster会将结果汇报给resourcemanage，最终由resourcemanage将结果返回给客户端。

 

 

 在Hadoop2.x之后，出现了两种新的方式，用来增强集群的可靠性

首先，分布式计算框架中新增了一台resourcemanage，用来当做备份，防止因为主机宕机而导致整个集群无法工作，那么他是怎么实现的呢，我们看下图

 

 

由图可知，我们使用zookeeper中的watch机制对resourcemanage主机进行监听，也就是说在主机中建立一个临时节点，并随时监听主节点，如果主节点一只存活，这个临时节点就会一直存在，如果主节点宕机，那么这个临时节点就会消失，此时，zookeeper就会通知备份节点主节点已宕机，备份节点就会成为主节点。

其次是分布式文件系统

 

基本原理与分布式计算框架相同，只是在两台主机之间新加了若干journalnode，用来保证主机与备份之间的数据时刻保持一致