hadoop-2.6.4 NameNode 源码分析学习

Namenode的介绍

一个简单的hadoop集群是由一个ACtive的namenode和多个datenode组成的，

namdnode是这个文件系统的管理节点。它维护着整个文件系统的目录树,文件/目标的元信息和每个文件对应的数据块列表。接受用户的操作请求。

 

启动Namenode

调用脚本:bin/hdfs namde

hdfs的启动脚本:

...

COMMAND=$1
...

if [ "$COMMAND" = "namenode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"

...
# run it
  exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"

####最终namenode是启动org.apache.hadoop.hdfs.server.namenode.NameNode这个类

 

由shell脚本可以知道namenode的实现类是org.apache.hadoop.hdfs.server.namenode.NameNode；

Namenode代码解释:

 

public class NameNode implements NameNodeStatusMXBean {
//namenode程序入口
public static void main(String argv[]) throws Exception {
    if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
      System.exit(0);
    }

    try {
      StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
      //创建namenode实例
      NameNode namenode = createNameNode(argv, null);
      if (namenode != null) {
        namenode.join();
      }
    } catch (Throwable e) {
      LOG.fatal("Failed to start namenode.", e);
      terminate(1, e);
    }
  }

  public static NameNode createNameNode(String argv[], Configuration conf)
      throws IOException {
    ...
    //获取操作参数
    StartupOption startOpt = parseArguments(argv);
  

    switch (startOpt) {
      case FORMAT: {//初次启动hadoop集群，要格式化namenode
        boolean aborted = format(conf, startOpt.getForceFormat(),
            startOpt.getInteractiveFormat());
        terminate(aborted ? 1 : 0);
        return null; // avoid javac warning
      }
      ......
      default: {//正常启动namenode
        DefaultMetricsSystem.initialize("NameNode");
        return new NameNode(conf);
      }
    }
  }  

   //操作hdfs文件系统的类
  public FSNamesystem namesystem;
   
   /** httpServer，平时我们在浏览器查看的hdfs的web管理控制台，就是通过它显示的，它包装了一个内嵌的jetty */
  protected NameNodeHttpServer httpServer;

  /** RPC服务器,DFSClient，DataNode和Namenode通信都要通过它 */
  private NameNodeRpcServer rpcServer;

  protected NameNode(Configuration conf, NamenodeRole role) 
      throws IOException { 
     ...  
      //执行initialize方法初始化
      initialize(conf);
      ...
    this.started.set(true);
  }

  protected void initialize(Configuration conf) throws IOException {
    ...
    //启动http服务器，启动后可以通过http://namenode:50070 访问hdfs的管理页面
    if (NamenodeRole.NAMENODE == role) {
      startHttpServer(conf);
    }
    ....
    //从fsimage和edits log加载元数据
    loadNamesystem(conf);
   //启动RPC server
    rpcServer = createRpcServer(conf);
    ....
   
  }

} 

 

我特别关注的是namenode两个部分的实现：与client,datanode的rpc通信，和文件管理的实现FSNamesystem

namenode启动rpc服务:

//这个类是用于RPC服务的响应
class NameNodeRpcServer implements NamenodeProtocols {
  
  //监听datanode请求的rpc服务  
  private final RPC.Server serviceRpcServer;

  //监听client请求的rpc服务 
  protected final RPC.Server clientRpcServer;

  public NameNodeRpcServer(Configuration conf, NameNode nn)
      throws IOException {
      ...
      //在服务端创建了一堆的rpc协议的实现类
       ClientNamenodeProtocolServerSideTranslatorPB 
       clientProtocolServerTranslator = 
         new ClientNamenodeProtocolServerSideTranslatorPB(this);
       BlockingService clientNNPbService = ClientNamenodeProtocol.
         newReflectiveBlockingService(clientProtocolServerTranslator);
      ...
      //创建RPC服务端，监听datanode的请求
      this.serviceRpcServer = new RPC.Builder(conf)
          .setProtocol(
              org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolPB.class)
          .setInstance(clientNNPbService)
          .setBindAddress(bindHost)
          .setPort(serviceRpcAddr.getPort()).setNumHandlers(serviceHandlerCount)
          .setVerbose(false)
          .setSecretManager(namesystem.getDelegationTokenSecretManager())
          .build();

     //想datanode监听rpc服务器进行协议的添加
    DFSUtil.addPBProtocol(conf, HAServiceProtocolPB.class, haPbService,
          serviceRpcServer);
     ..... 
  }
}

 

FSNamesystem是文件系统命名空间系统类,实现了namenode的基本服务功能，

FSNamesystem类就是实现去与datanode进行交互操作的类：