hadoop 分布式系统与Hadoop MapReduce

Hadoop分为两部分 Hadoop MapReduce和Hadoop分布式文件系统

 

1分布式系统由Master Node 和多台 slave Node组成。

1.1MasterNode

Master节点对slave node进行管理，充当管理包含目录和文件信息的元数据，MasterNode 负责对元数据存储做判断，分配给哪一个slave节点。

1.2.Slave Node

作为存储用户信息，还可以将文件复制到多个节点

 

2MapReduce

采用master-slave结构。Master作为全局管理，对作业管理，状态监控 调度任务等，即job tracker，Slave负责在执行任务和反馈，即Task Tracker

2.1job tracker任务如下：

(a) 作业控制。将作业分解多个任务，对作业进行状态监控，对Task Tracker进行状态监控

(b)资源监控

分发命令给task tracker，运行 ，提交，杀死任务进程，收集task tracker的心跳汇报

 

 

2.2Task Tracker

汇报周期性的报告给Job Tracker（节点使用情况，资源健康度，任务执行进度和状态），再者即为执行命令，比如提交任务 杀死任务 执行任务等