摘要:这章主要描述怎样设计HBase schema. 关于这个主题, 强烈推荐下面这个presentation, 写的非常清晰. 首先再次强调的是, Nosql无法替代SQL, 对于非bigdata, 毫无疑问SQL更加好用. 对于系统或场景, 我们不应该执着的想着用Nosql去替代SQL, 而是仅仅将SQL无法handle那部分big data(往往关系性不强)放到Nosql上. ...
阅读全文
摘要:Seek vs. Transfer 我之前专门比较过B+ tree和LSM tree http://www.cnblogs.com/fxjwind/archive/2012/06/09/2543357.html 里面最后一篇blog比较好的分析使用B+ tree和LSM tree (Log-Structured Merge-Trees) 的本质, 读写效率的balance, 全局有序和局部有...
阅读全文
摘要:Advanced Features Filters HBase filters are a powerful feature that can greatly enhance your effectiveness working with data stored in tables. You will find predefined filters, already provided by ...
阅读全文
摘要:NoSQL Data Modeling Techniques http://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/ NoSQL databases are often compared by various non-functional criteria, such as scalabili...
阅读全文
摘要:General Notes The primary client interface to HBase is the HTable class in the org.apache.hadoop.hbase.client package. It provides the user with all the functionality needed to store and retrieve...
阅读全文
摘要:Before we start looking into all the moving parts of HBase, let us pause to think about why there was a need to come up with yet another storage architecture. Relational database management systems (RDBMS) have been around since the early 1970s, and have helped countless companies and organizations
阅读全文
摘要:http://www.oreillynet.com/pub/au/4685 HBase: The Definitive Guide的作者 HBase Architecture 101 - Storage http://www.larsgeorge.com/2009/10/hbase-architecture-101-storage.html HBase最隐秘的问题之一就是它的数据是...
阅读全文
摘要:http://www.igvita.com/2012/02/06/sstable-and-log-structured-storage-leveldb/, SSTable and Log Structured Storage: LevelDB The Sorted String Table (SSTable) is one of the most popular outputs for s...
阅读全文
摘要:http://www.cs.cornell.edu/projects/ladis2009/papers/lakshman-ladis2009.pdf, 英文 http://www.dbthink.com/?p=372, 中文 对Cassandra并没有深入研究, 在data server上copy了bigtable, 而在分布式nodes管理上copy了Dynamo的去中心化的架构, 可以...
阅读全文
摘要:http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html http://kb.cnblogs.com/page/124567/ 面对大数据, 提出一种不同的思路 传统的方法在保证可用性的前提下, 必须用很复杂的逻辑来保证数据的最终一致性, 比如Dynamo的方案, 矢量时钟(vector clock)记录数据的版本历史合并....
阅读全文
摘要:bigtable: A Distributed Storage System for Structured Data http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//archive/bigtable-osdi06.pdf http://www.dbthink....
阅读全文
摘要:MongoDB被称为最象RDBMS的NoSQL, 确实是, 因为跟RDBMS相比, 它最大的改动其实就是在数据模型上有所不同. 其次就是MongoDB不支持事务, MongoDB只支持单文件的原子性修改, 和HBase的单row原子性修改一个级别 MongoDB使用Bson(类Json的二进制版), 即灵活的文档类型, 以树型的嵌套关系来替代严格范式的二维关系. 好处, ...
阅读全文
摘要:http://www.mongodb.org/display/DOCS/Comparing+Mongo+DB+and+Couch+DB, 英文 http://www.searchdatabase.com.cn/showcontent_46595.htm, 中文 最根本的不同是, 应用场景的不同, 是对CAP的取舍的不同 MongoDB选择牺牲可用性来保证一致性和原子性, 而couchD...
阅读全文
摘要:CouchDB还是蛮有意思的一个DB, 总结一下, 他重要的特点 1. 最大的特点就是他的file layout and commitment system, 并由此可以保证ACID特性, 在Nosql里面相当有特点, 参考5.1.6 2. 采用View机制, 这个很方便, 通过javascript就可以简单的定义view, 并可以通过map/reduce逻辑生成view, 但要注意的是, 这...
阅读全文
摘要:Key-/value-stores have a simple data model in common: a map/dictionary, allowing clients to put and request values per key. Besides the data-model and the API, modern key-value stores favor high scalability over consistency and therefore most of them also omit rich ad-hoc querying and analytics feat
阅读全文
摘要:www.allthingsdistributed.com/2007/10/amazons_dynamo.html , 英文版 http://blog.163.com/woshitony111@126/blog/static/71379539201231492557944/ , 中文版 1 Overview Amazon服务平台中的许多服务只需要主键访问数据存储. 对于许多服务, 如提供...
阅读全文
摘要:0 Reference NoSQL论文 在 Stuttgart Media 大学的 Christof Strauch 历时8个月(2010年6月-2011年2月)完成了一篇150页长的NoSQL相关的论文, 对NoSQL的各个方面做了探讨 http://www.christof-strauch.de/nosqldbs.pdf 分布式系统领域经典论文翻译集 http://duanple.b...
阅读全文
摘要:MySQL索引背后的数据结构及算法原理, http://www.codinglabs.org/html/theory-of-mysql-index.html HBase Architecture, http://duanple.blog.163.com/blog/static/70971767201191661620641/ 数据库如何抵抗随机IO:问题、方法与现实, http://wangy...
阅读全文
摘要:http://horicky.blogspot.com/2009/11/nosql-patterns.html, NOSQL Patterns There are 2 ways how the master propagate updates to the slave; State transfer and Operation transfer. In State tran...
阅读全文
摘要:通过实际例子来阐述vector clock其实是容易理解的, easy 同样通过实际例子来描述在使用vector clock时会遇到哪些难以解决的问题, hard Why Vector Clocks are Easy http://basho.com/blog/technical/2010/01/29/why-vector-clocks-are-easy/ Vector Clocks...
阅读全文