Hadoop IPC的代码结构分析

与IPC相关的代码在org.apache.hadoop.ipc包下。共七个文件，其中4个辅助类：

RemoteException

Status

VersionedProtocol

ConnectionHeader

主要实现类3个：

Client

Server

RPC

客户端Client：

如上图：

与IPC连接相关的

• Client.Connection
• Client.ConnectionId
• ConnectionHeader

与远程调用Call相关的

• Client.Call
• Client.ParallelCall
• Client.ParallelResults

服务器端Server：

与IPC连接相关的

• Server.Connection
• ConnectionHeader

与远程调用Call相关的

• Server.Call
• Server.Responder
• Server.Listener
• Server.Handler

 

RPC

RPC是在Server及Client的基础上实现了Hadoop IPC。

与客户端相关的功能：

• RPC.ClientCache
• RPC.Invoker（继承java.lang.reflect.InvocationHandler）
• RPC.Invocation

与服务端相关的功能：

• RPC.Server

 

Connection

客户端与服务器端对连接的抽象不一样，所以有Server.Connection和Client.Connection。Hadoop远程调用采用TCP协议通信。

1）客户端Client.ConnectionId

连接复用：当多个IPC客户端的ConnectionId相同时，他们共享一个IPC连接。连接复用可以减少Hadoop Server、Client的资源占用，同时节省IPC连接时间。

2）ConnectionHeader

Server与Client间TCP连接建立后交换的第一条信息，包含ConnectionId.ticket(UserGroupInformation)用户信息和IPC接口信息，检验是否实现了IPC接口，以及该用户是否有权使用接口。

Call

建立连接后，即可以进行远程过程调用服务，即对IPC接口方法的调用，源码抽象为Call。

远程调用Client.Call对象和Server.Call对象，是一个IPC调用产生的，存在于IPC客户端（存根）和IPC服务端（骨架）中的实体。

Client.Call对象通过IPC连接到服务器后，自然会构成相应的Server.Call对象。

 

Client.Call何时产生以及如何产生？

如上图所示流程：

1. 用户发起远程接口调用
2. 动态代理，RPC.Invoker调用句柄捕获远程调用
3. 根据invoke的输入参数method、args生成RPC.Invocation对象
4. 并调用Client.call，call会将上一步的Invocation对象序列化并通过IPC连接发送到服务器。Client.call会等待服务端返回的结果。
5. 服务器端Listener监听Client发来的连接请求和数据请求，并调用Server端的连接对象。
6. 连接对象接收远程调用请求帧，反序列化，并将请求放于阻塞队列中，由Handler处理。
7. Handler调用对应的IPC接口实现类，完成过程调用，将结果序列化。
8. 如果此时连接的应答队列为空，返回给客户端。
9. 否则，客户端比较忙，应答队列不为空，Handler将结果放入响应队列，由Responser通过IPC发送给客户端。

Client.Connection对象，需要通过setupIOstreams方法和服务器建立连接，该方法首先通过Java套接字与server建立Socket连接，如果失败，则进行一定次数的重试，如下代码，是setupIOstreams调用的setupConnection：

private synchronized void setupConnection() throws IOException {
  short ioFailures = 0;
  short timeoutFailures = 0;
  while (true) {
    try {
      this.socket = socketFactory.createSocket();
      this.socket.setTcpNoDelay(tcpNoDelay);
      //禁用tcp的Nagle算法，关闭socket底层缓冲
      // 配置项 ${ipc.client.tcpnodelay}
      
      /*
       * Bind the socket to the host specified in the principal name of the
       * client, to ensure Server matching address of the client connection
       * to host name in principal passed.
       */
      if (UserGroupInformation.isSecurityEnabled()) {
        KerberosInfo krbInfo = 
          remoteId.getProtocol().getAnnotation(KerberosInfo.class);
        if (krbInfo != null && krbInfo.clientPrincipal() != null) {
          String host = 
            SecurityUtil.getHostFromPrincipal(remoteId.getTicket().getUserName());
          
          // If host name is a valid local address then bind socket to it
          InetAddress localAddr = NetUtils.getLocalInetAddress(host);
          if (localAddr != null) {
            this.socket.bind(new InetSocketAddress(localAddr, 0));
          }
        }
      }
      
      // connection time out is 20s
      NetUtils.connect(this.socket, server, 20000);
      if (rpcTimeout > 0) {
        pingInterval = rpcTimeout;  // rpcTimeout overwrites pingInterval
      }

      this.socket.setSoTimeout(pingInterval);
      return;
    } catch (SocketTimeoutException toe) {
      /* Check for an address change and update the local reference.
       * Reset the failure counter if the address was changed
       */
      if (updateAddress()) {
        timeoutFailures = ioFailures = 0;
      }
      /* The max number of retries is 45,
       * which amounts to 20s*45 = 15 minutes retries.
       */
      handleConnectionFailure(timeoutFailures++, 45, toe);
    } catch (IOException ie) {
      if (updateAddress()) {
        timeoutFailures = ioFailures = 0;
      }
      handleConnectionFailure(ioFailures++, maxRetries, ie);
    }
  }
}

 

IPC连接

• 连接建立
• 连接上的数据读写
• 连接维护
• 连接关闭

在接下来的几篇内分别介绍以上内容。