tfs主从nameserver节点容错性—源码解读

 1 前言

   在tfs集群服务里，nameserver采用HA架构：由heart agent维护着的nameserver的vip，对于客户端和数据节点来说，会直接和nameserver的vip沟通，所以至于后台有多少个nameserver和具体由那个nameserver提供服务是透明的。

  另外nameserver的职责：维护了所有block数据的位置信息、元数据信息及其两者之间的映射信息，所以其是一个有状态的节点；并且负责所有dataserver的状态检查；负载、迁移等任务下发；所以nameserver类似整个集群的大脑，作用至关重要。而要完成nameserver主从之间的无缝实时切换，需要保证两点要求：

  a. 运行服务时期，保证主nameserver控制器与从nameserver是状态对等的；
  b. 发生故障切换时期，保证主从nameserver的切换对用户是透明的。

2 代码实现与原理
  a. 透明切换
    NameServerHeartManager 负责与从nameserver之间的心跳，完成master和slave角色之间的切换。切换的逻辑较简单:只需将vip从原来的主nameserver控制器到从nameserver控制器的映射切换，代码如下：

    //nameserver主备状态信息
    struct NsRuntimeGlobalInformation
    {
      uint64_t heart_ip_port_;
      uint64_t owner_ip_port_;
      uint64_t peer_ip_port_;
      int64_t switch_time_;
      int64_t discard_newblk_safe_mode_time_;
      int64_t lease_id_;
      int64_t lease_expired_time_;
      int64_t startup_time_;
      uint32_t vip_;
      bool destroy_flag_;
      int8_t owner_role_;
      int8_t peer_role_;
      int8_t owner_status_;
      int8_t peer_status_;
    }      
    //peer_ip_port_ 表示对等的对方ip&port     
    //owner_ip_port_ 表示本地的ip&port
    //vip_ 表示当前主控服务器的代理ip，通过vip_可以判断自己的身份
    
    // 心跳检查
    void NameServerHeartManager::check_()
    {
      time_t now = 0;
      NsKeepAliveType keepalive_type_ = NS_KEEPALIVE_TYPE_LOGIN;
      int32_t sleep_time = SYSPARAM_NAMESERVER.heart_interval_ / 2;
      NsRuntimeGlobalInformation& ngi = GFactory::get_runtime_info();
      while (!ngi.is_destroyed())
      {
        now = Func::get_monotonic_time();
        ns_role_establish_(ngi, now);

        if (ngi.is_master())
        {
          ns_check_lease_expired_(ngi, now);
        }
        else
        {
          keepalive_(sleep_time, keepalive_type_, ngi, now);
          if (!ngi.has_valid_lease(now))
            keepalive_type_ = NS_KEEPALIVE_TYPE_LOGIN;
          else
            keepalive_type_ = NS_KEEPALIVE_TYPE_RENEW;
        }

        if (sleep_time <= 0)
        {
          sleep_time =  SYSPARAM_NAMESERVER.heart_interval_ / 2;
          sleep_time = std::max(sleep_time, 1);
        }
        Func::sleep(sleep_time, ngi.destroy_flag_);
      }
      keepalive_type_ = NS_KEEPALIVE_TYPE_LOGOUT;
      keepalive_(sleep_time, keepalive_type_, ngi, now);
    }
    
    //如果vip飘到本地ip，则表示本节点成主控制器
    int NameServerHeartManager::ns_role_establish_(NsRuntimeGlobalInformation& ngi, const time_t now)
    {
      if (check_vip_(ngi))//vip is local ip
      {
        if (!ngi.is_master())//slave, switch
          switch_role_salve_to_master_(ngi, now);
      }
      else
      {
        if (ngi.is_master())
          switch_role_master_to_slave_(ngi, now);
      }
      return TFS_SUCCESS;
    }

  b. 状态同步：

    切换后仍需要正常提供工作，不影响用户的操作，即需要镜像主nameserver到从nameserver的状态。OpLogSyncManager: 负责主控服务nameserver节点的所有操作日志在从控服务nameserver上的发送、接收与重放，同步两者之间的状态，代码如下：

    //重播日志消息类
    class OpLogSyncMessage: public common::BasePacket 
    {
        bool alloc_;
        int32_t length_;
        char* data_;
    };
    
    //解析日志消息类，并根据日志的操作类型，进行相应的重放在从nameserver上
    int OpLogSyncManager::replay_helper(const char* const data, const int64_t data_len, int64_t& pos, const time_t now) 
    {
      OpLogHeader header;
      int32_t ret = ((NULL != data) && (data_len - pos >= header.length())) ? TFS_SUCCESS : EXIT_PARAMETER_ERROR;
      if (TFS_SUCCESS == ret)
      {
        ret = header.deserialize(data, data_len, pos);
        if (TFS_SUCCESS == ret)
        {
          uint32_t crc = 0;
          crc = Func::crc(crc, (data + pos), header.length_);
          if (crc != header.crc_)
          {
            TBSYS_LOG(ERROR, "check crc: %u<>: %u error", header.crc_, crc);
            ret = EXIT_CHECK_CRC_ERROR;
          }
          else
          {
            int8_t type = header.type_;
            switch (type)
            {
              case OPLOG_TYPE_REPLICATE_MSG:
              case OPLOG_TYPE_COMPACT_MSG:
                ret = replay_helper_do_msg(type, data, data_len, pos);
                break;
              case OPLOG_TYPE_BLOCK_OP:
                ret = replay_helper_do_oplog(now, type, data, data_len, pos);
                break;
              default:
                TBSYS_LOG(WARN, "type: %d not found", type);
                ret =  EXIT_PLAY_LOG_ERROR;
                break;
            }
          }
        }
      }
      return ret;
    }