随笔 - 22  文章 - 0 评论 - 138 trackbacks - 19

Hash环

LightCloud使用一致性Hash算法(Consistent Hashing),好处就是当添加新节点的时候不用移动大量数据了。还不知道为什么?Consistent Hashing介绍

一致性Hash算法也不算什么新鲜玩意儿了,凡是分布式系统都不免能见到它的身影,那LightCloud特别之处在哪里呢?好,我们广告之后告诉你……

(可恶的广告)

好,广告之后精彩继续

为了提高可用性,LightCloud使用了数据复制,在正角上场之前,先上一个暖场的,这个暖场的来头还挺大Amazon's Dynamo,先看大屏幕,

图上说了,Key A对应的值会复制三份,分布放在A,B,C节点上(原因不用说了吧),这样做的后果就是系统比较复杂,特别是加入新节点之后,由于Amazon's Dynamo系统本身就设计的比较复杂,这里就不细展开了,有兴趣的同学可以参考链接地址中的论文。

主角上场,主角本身设计的比较简单,还是先看大屏幕

怎么样,有没有看出什么道道来,节点本身复制了,这里是复制了两份,当然你也可以复制三份,第三份甚至可以放在另外的数据中心以提供更高的可靠性。LightCloud的复制用得是底层TokyoTyrant的复制功能,很环保。

解决了复制的问题,还有一个问题就是加入新节点是数据转移的问题,这张图困扰了我很久,大家先仔细品味一下

本来挺简单的一个环,现在变成了两个,上面那个环呢只保存地址,下面那个环才是保存了真正的数据,这样做有什么好处呢?文档也比较简略,没有说清楚,我和作者amix沟通之后,他答应在后续的文档中详细加以说明,留待以后再来分析吧。

和TokyoTyrant通讯

可以通过两种方式和TokyoTyrant通讯:

  •  
    • 使用Tyrant的二进制协议
    • 使用Memcached的协议

默认使用前者,因为是二进制的,而且支持调用Lua扩展,当然如果你愿意,也可以使用Memcached的协议。

posted on 2009-03-08 20:32 tmfc 阅读(...) 评论(...) 编辑 收藏