Hadoop1.2.1 配置文件详解

首先我们先回顾一下Hadoop的一些概念:

  Apache Hdoop 1.x 组成
    NameNode(元数据服务器)
    Secondary NameNode(辅助元数据服务器)
    JobTracker(任务调度员)
    DataNodes(块存储)
    TaskTrackers(任务执行)

  HDFS文件系统
    NameNoode:属于管理层,用于管理数据存储
    SecondaryNameNode:也属于管理层,辅助NameNode进行管理
    DataNode:属于应用层,用户进行数据的存储,被NameNode进行管理,要定时的向NameNode进行工作汇报,执行NameNode分配的任务

  MapReduce,分布式的并行计算框架
    JobTracker:属于管理层,管理集群资源和对任务进行资源调度,监控任务的执行
    TaskTracker:属于应用层,执行JobTracker分配的任务,并向JobTraker进行汇报工作情况

 

hadoop1.x配置文件详解:

 

posted @ 2015-05-28 21:43  打伞的鱼  阅读(1491)  评论(0编辑  收藏  举报