Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构

Hadoop源码学习笔记(5)

——回顾DataNode和NameNode的类结构

之前我们简要的看过了DataNode的main函数以及整个类的大至，现在结合前面我们研究的线程和RPC，则可以进一步看看几个对象的大至结构以及调用关系。

我们知道，三个结构（客户端，NameNode,DataNode）是能过网络调用的，走的是RPC。那在底层通讯时谁做服务器谁做客户端呢？我们先回顾一下这三者关系：

这样看，看不出，我们进入源码，看一下夹在中间的NameNode:

在这个initialize函数中，我们找了它的影子，RPC.getServer，显然，这里是在做服务端，然后再往后观察，也没有启动其它线程之类的，然后getServer传入参数，第一个是this，说明这个服务就是把自己当成了RPC服务对象。

既然当成了RPC服务，那事必要继承VersionedProtocol接口咯，我们看下这个类的定义处：

我们发现，并没有直接继承VersionedProtocol接口,但进一步看：ClientProtocol, DatanodeProtocol,NamenodeProtocol,RefreshAuthorizationPolicyProtocol这四个接口都又继承了VersionedProtocol接口。

从字面意思，或里面的定义说明来看，这四个接口，分别实现了给客户端(FSClient)，DataNode，NameNode，刷身份认证的几块功能来应用的。大牛考虑的还是很周道，虽说这个NameNode是一个大的RPC服务的处理者，但是通过接口，又将其划分成多个子功能块。

 

既然它是一个服务端(server)，那另外两个呢？我们看下

我们先找到客户端处理类：org.apache.hadoop.hdfs.DFSClient，随便找个处理类：

我们发现，比如这个listPaths，直接处理方法，就是调用namenode.GetListing。而这个namenode是啥，追查一下，找到其定义：

很明显，这个是跟NameNode类中的接口ClientProtocol同一个，然后其实使化呢：

我们找到这个RPC客户端的影子。（当然有人说，上面用的是namenode对象，这里创建的是rpcNameNode么，这里是又包了一层，后面再来研究）

 

同样，我们再看一下DataNode:

在定义中，看到：

这个定义类型是DatanodeProtocol，也是NameNode服务上实现的接口。

这个对象的初使化，在startDataNode中，我们也找到了RPC的影子：

 

 

这样，大体过程清晰了，NameNode架设了一个RPC服务，其他的都与之相联，至于各个模块间通讯内容有哪些，简单了，就直接看看ClientProtocol, DatanodeProtocol,NamenodeProtocol,RefreshAuthorizationPolicyProtocol这几个接口。

 

程序结构呢，比较容易了，DataNode是一个大线程，里面一个死循环，不断向NameNode通过RPC发消息。 NameNode，就是一个服务，然后程序在Server.join中卡住，不断的接收发来的RPC请求。 客户端DFSClient,是一个简单的处理类，每个功能函数请求，都转向到NameNode服务中处理。

 

OK，大体上有了初步的了解后，接下来我们就要抓住几根线，看各个服务是如何处理文件命令的。下回分解。