随笔 - 22  文章 - 0 评论 - 138 trackbacks - 19

Plurk.com在今年2月28日开源了LightCloud这个分布式的键-值数据库,根据官方网站的信息,有以下特性

  •  
    • 基于Tokyo Tyrant(这个项目貌似又是另一个名叫Tokyo Cabinet的数据库系统的网络接口)。Tokyo Tyrant是最快的键-值数据库之一[性能测试],并且已经开发了好几年并且在n个网站中被应用。
    • 性能非常好(可以和memcached进行对比)
    • 在很少的服务器上面可以存储百万级的数据量
    • 简单的通过添加节点来扩展
    • 节点可以通过master-master复制来进行备份。很容易添加自动错误恢复和负载均衡功能
    • 使用Lua语言进行扩展
    • 备份和恢复数据时不需要关机
    • LightCloud Manager工具可以很方便的管理节点,备份节点,查看状态
    • 非常小巧(客户端大约500行,Manager大约400行)
    • 纯python开发,但是很容易移植到其他语言

和Memcached以及MySql的区别

Memcached是缓存服务器,而LightCloud内存储的数据是持久的(到底是数据库嘛)。

MySql和其他关系数据库服务器存储键-值对时效率不高(肯定没LightCloud这种专用的高)。

和Memcached性能对比

对LightCloud和Memcached做10,000次set和get

Elapsed for 10000 gets: 1.74538516998 seconds [memcache]
Elapsed for 10000 gets: 3.57339096069 seconds [lightcloud]

Elapsed for 10000 sets: 1.88236999512 seconds [memcache]
Elapsed for 10000 sets: 9.23674893379 seconds [lightcloud]

值得注意的一点是Memcached是完全在内存中操作的,而LightCloud是会读写硬盘的。

而Tokyo Tyrant官网提供的数据更加惊人(LightCloud在Tokyo Tyrant上增加了网络和Python语言执行开销)

1 million GETS in < 0.5 seconds

1 million SETS in < 0.5 seconds

使用Lua进行扩展

Lua扩展貌似是由Tokyo Tyrant提供的

下面是一个简单的扩展,扩展出一个incr命令

function incr(key, value)
   value = tonumber(value)
   if not value then
      return nil
   end
   local old = tonumber(_get(key))
   if old then
      value = value + old
   end
   if not _put(key, value) then
      return nil
   end
   return value
end
posted on 2009-03-07 21:45 tmfc 阅读(...) 评论(...) 编辑 收藏