Hadoop守护进程【简】

【转自】http://xzx4959.blog.163.com/blog/static/47868170201311901848348/

 

一般如果正常启动hadoop,我们可以在master上通过jps命令看到以下5个daemons:

[root@master ~]# jps
19803 
SecondaryNameNode
19994 ResourceManager
31144 Jps
19571 
NameNode

 
19672 DataNode
19887 NodeManager

 

下面依次介绍这些进程:

1. NameNode

它是Hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问。

2. SecondaryNameNode

它不是 namenode 的冗余守护进程,而是提供周期检查点和清理任务。

出于对可扩展性和容错性等考虑,我们一般将SecondaryNameNode运行在一台非NameNode的机器上

3. DataNode

它负责管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个 datanode 守护进程。
 
4.ResourceManager 是一个中心的服务,它做的事情是调度、启动每一个 Job 所属的 ApplicationMaster、另外监控 ApplicationMaster 的存在情况,ResourceManager 负责作业与资源的调度。接收 JobSubmitter 提交的作业,按照作业的上下文 (Context) 信息,以及从 NodeManager 收集来的状态信息,启动调度过程,分配一个 Container 作为 App Mstr

5.NodeManager 功能比较专一,就是负责 Container 状态的维护,并向 RM 保持心跳。

posted @ 2014-05-27 08:09  宝山方圆  阅读(2748)  评论(0编辑  收藏  举报