Tokyo Tyrant (ttserver)的master-slave复制协议分析

                                        Tokyo Tyrant (ttserver)的master-slave复制协议分析
                                        The  replication protocol  of  Tokyo Tyrant (ttserver)
                              [文章作者:孙立 链接:http://www.cnblogs.com/sunli/ 更新时间:2010-06-26]

目的

     ttserver已经自带了主从复制功能,而且运行非常稳定,高效,使我们在使用ttserver实现高可靠性的不二选择。为什么我还要分析它的复制协议呢?

     1.需要实时从ttserver同步数据到一个异构库。比如mysql,其他的nosql数据库。

     2.数据的无缝迁移,如果需要从ttserver数据库无缝切换到其他数据库,可以使用这种复制协议

     3.高性能的异步处理队列,你可以设置主库为mem类型,然后使用同步协议获取数据,这实际上就是一个队列,而且还是一个持久化的队列服务。
     4.其他存储写一个服务,可以用ttserver做slave。
协议结构分析
     咱们从数据流向的流程开始:
  1.     客户端(slave)连接到服务器端(master)
  2.     slave连接成功后向master发送
    +--------------------------------------+
    |0xC8  |0xa0     | slave rts  | slave sid  |
    |1byte |1 byte   | 8 bytes    | 4 bytes   |
    +--------------------------------------+

  3. master收到后,想客户端发送:
    +---------+
    |mid         |
    |4 bytes   |
    +---------+
  4. slave收到后可以得到服务器端的master sid.
  5. 这里就开始复制了,master继续想客户端循环不断的发送复制的数据的object.
    +------+
    |0xca   | 表示没有任何操作
    |1 byte|
    +------+
    发送一个操作项:
    +--------------------------------------------------+
    |0xc9   |rts         | rsid       |rsize      |data            |
    |1 byte |8 bytes   |4 bytes  |4 bytes   |rsize bytes  |
    +--------------------------------------------------+

    其中data的结构:
    +-----------------------------------+
    |magic   |cmd       |[data]               |
    |1 bytes |1 bytes  | key-value data  |
    +-----------------------------------+
    cmd表示各种操作类型,比如put putkeep 等
  6. slave循环接受数据进行数据ok了。


协议实现
     ttserver的复制协议非常简单,因为官方并没有把复制协议写到文档中,其他操作都有文档的。就需要去分析它的C代码,结构分析出来实现就非常简单了。 我会开放一些实现,到时会在www.cnblogs.com/sunli/公布

  
posted @ 2010-06-26 11:17  草屋主人  阅读(3623)  评论(0编辑  收藏  举报