随笔分类 -  搜索引擎

Cassandra——一些比较和回想
摘要:这篇文章,包含了一些技术,包含了一些回忆。今天看了360的有关Cassandra实践的ppt,有一些感想。让我想起了两年前的一些事情,不过那时,我做的不是存储,而主攻的分布式检索。后来一系列变化,我也经历了很多,后来安下心来,做存储优化,优化的对象就是Cassandra,这也有一年多的时间。理论深厚,心得颇丰,可是仍然缺乏一线经验积累。看到360这么大规模的应用Cassandra,我很高兴。尽管,没有一同战斗,但是我很欣慰,很开心。Cassandra终于摆脱阴影,站起来了。Cassandra在360部署有1500台服务器。国内首屈一指了,还有一家部署规模在这一半左右。不过,单个Cassandr 阅读全文

posted @ 2012-09-18 16:03 sing1ee 阅读(1006) 评论(1) 推荐(0)

被忽视的Compaction策略-有关NoSQL Compaction策略的一点思考
摘要:最近一直在做Cassandra优化相关的工作,大的方面就是主要考虑如何提升Cassandra的读性能。我主要集中在两点上:索引的优化Cassandra在多级存储介质的环境下的改进这 两点改进目前都已经做完,这里我的师弟也做出了突出的贡献。但是,还有一点,是我除了以上两点以外思考比较多的:就是Compaction操作。现在的 NoSQL数据库必须要有Compaction操作。但是似乎研究界,工业界对于Compaction的关注没有那么多。也可能是这个问题比较简单,大家 不愿意关注。也可能这个问题想要得到好的结果与实际付出不相符合。不管怎样,我还想结合这些天的测试和自己的思考,和大家一起讨论以下的 阅读全文

posted @ 2012-05-24 14:46 sing1ee 阅读(821) 评论(0) 推荐(0)

kv存储引擎索引设计思考
摘要:Cassandra自从出了几次大的宕机的情况之后,很少有大公司在用了,我目前知道的,就是twitter的抓取服务使用的Cassandra来存储抓取数据元信息,而且,国内某搜索引擎公司,也是这么做的。我最近的工作之一,就是改进Cassandra,选它一方面是公司的要求,另一方面,学习空间、提速空间性能都比较大。 经过一段时间的调研,确认了三个改进方向(由于公司的原因,现在我只说第一个)。第一个就是索引压缩的改进,往大了说,就是要对Cassandra的索引进行重新设计。重新设计的思路,下面会慢慢讨论。 对于kv存储引擎的索引,根据key是否有序,分为两种:一种是key如果无序,则可以采用hash的 阅读全文

posted @ 2011-12-25 14:23 sing1ee 阅读(2226) 评论(0) 推荐(0)