随笔 - 22  文章 - 0 评论 - 138 trackbacks - 19

去年由于工作关系,需要给Memcached选择一种数据压缩算法,参考了2008版的MONSTER OF COMPRESSION,现在2009年度的又新鲜出炉了,有需要的朋友可以去下面看看

MONSTER OF COMPRESSION 2009

由于用于压缩缓存数据,所以重要指标是压缩速度和解压速度,直接参考Ranked on Time of Compression表和Ranked on Time of Decompression

可以发现排在前列的算法就这么几个,而且基本上都是LZ帮派的,其中又以LZ77分舵的气焰最盛,那个速度叫一个块,比7Zip要快15倍,比压缩比最高的NANOZIP要快70多倍。由于MONSTER OF COMPRESSION的压缩测试数据包括非压缩的图片,二进制文件(包括exe和dll),压缩音频,视频等等,LZ帮派基本上压缩率是比较惨的(1G的数据压缩到700多M),但是Memcached缓存的都是什么,都是序列化后的对象,那不就是XML文件吗(当然也可以使用二进制序列化,不在讨论之列)。于是本着认真负责的态度,本人决定测试一下LZ帮的文本压缩能力。

找来找去,去年排名前几的算法,只有QuickLZ(07年还是排名第五的大怪兽今年不知道由于什么原因,没有测试数据)提供了可执行程序(最重要是还有C#版本的库),那就用QuickLZ粗略测试了一下,测试使用了对象序列化后产生的XML文件,具体的成绩已经有些模糊,压缩比应该是在50%左右,这个成绩还真不错,完全可以满足要求。不过最后由于种种原因,没能应用到项目中,所以没法提供更多资料了,大家有兴趣可以自己测试一下实际效果到底如何。

posted on 2009-03-08 18:52 tmfc 阅读(...) 评论(...) 编辑 收藏