随笔分类 -  Storage

摘要：转自：http://forchenyun.iteye.com/blog/828549概述HBase是基于Bigtable论文的面向列的分布式存储系统，其存储设计是基于Memtable/SSTable的。其它如Cassandra都是采用的该设计。整个存储分为两部分，一部分为内存中的MemStore(Memtable)，另外一部分为磁盘(这里是HDFS)上的HFile(SSTable)。下面分别讲述两种类型的存储分别的实现：MemStore中最重要的变量是：Java代码 volatileKeyValueSkipListSetkvset;volatile KeyValueSkipListSet kv 阅读全文

摘要：转自：http://forchenyun.iteye.com/blog/960415本节重点讲述数据的Durability(可靠性)，纵然CAP理论中的三个关键点(Consistent, Available, Partition-Tolerant )无法达成一致，A和P目前来看变化不太多，可能变化比较多的是在C上，将一致性模型的文章毫无疑问首推Amazon CTO：Werner Vogels的两篇文章：Eventually ConsistentEventually Consistent - Revisited这是工业界的经验之谈：在一定程度上做一些取舍，从而使得系统整体趋近于平衡。回到本文主题 阅读全文

摘要：转自：http://forchenyun.iteye.com/blog/942448相关文章推荐：海量数据存储之Key-Value存储简介海里数据存储之存储设计(二)Je的排版真的让人难过......从本文开始着重讲解存储细节，思路比较飘逸，观者多包涵。翻译了一篇Redis作者antirez的文章做为本文的切入点，翻译得不好，这部分可以大致一览，后面会有分析。Append Only和Reuse Blocks的一些区别对于一颗append only btree(以下简称AOB)来说，最有趣的属性就是它不可能出现corrupt（可以理解为数据不一致状态）。另外一个有趣的属性就是并发访问没有任何问题 阅读全文

摘要：转自：http://forchenyun.iteye.com/blog/744935Key-value存储简介具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战，传统的数据库往往很难满足该需求，并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询，在这种情况下使用关系型数据库将使得效率低下，并且扩展也将成为未来很大的难题。在这样的情况下，使用Key-value存储将会是一个很好的选择。它被广泛应用于缓存，搜索引擎等等领域。 根据以上的描述，一个好的key-value存储需要满足哪些条件呢？l Availability可用性l Scalability可扩展性l Fail 阅读全文