随笔分类 -  HBase

基于KV Data Model实现Table Data Model
摘要：HBase对外暴露出来的是一个表格数据模型，如下图所示![](http://pic002.cnblogs.com/images/2012/176446/2012010621260722.jpg)rowkey应用程序可以自己设计。每一个Cell可以保存多个版本的数据，由timestamp标示版本。应用... 阅读全文
posted @ 2015-08-04 21:38 吴镝 阅读(1433) 评论(0) 推荐(0)
HBase Scan Timeout-OutOfOrderScannerNextException
摘要：最近迁移数据时需要执行大Scan，HBase集群经常碰到以下日志:```Exception in thread "main" org.apache.hadoop.hbase.DoNotRetryIOException: Failed after retry of OutOfOrderScannerN... 阅读全文
posted @ 2015-02-11 15:19 吴镝 阅读(3871) 评论(0) 推荐(0)
对象存储系统设计
摘要：####存储选型Blob(binary large object)存储系统主要用来存储二进制的大对象，比如图片，视频。这样的数据不太适合存储在类LSM系统例如HBase中，原因在于这种数据尺寸相对较大，写入RegionServer的memstore后很快会触发region的flush，在磁盘上形成大... 阅读全文
posted @ 2015-02-10 15:37 吴镝 阅读(2559) 评论(0) 推荐(1)
HBase Compaction详解
摘要：##HBase Compaction策略RegionServer这种类LSM存储引擎需要不断的进行Compaction来减少磁盘上数据文件的个数和删除无用的数据从而保证读性能。RegionServer后台有一组负责flush region的线程(MemStoreFlusher)，每次从flushQu... 阅读全文
posted @ 2014-09-19 17:37 吴镝 阅读(6772) 评论(0) 推荐(1)
HBase Region分裂实现
摘要：###分裂策略不同的分裂策略的实现需要继承RegionSplitPolicy，主要实现两个方法：1. shouldSplit()表示是否需要分裂2. getSplitPoint()得到分裂点rowkey从 HBase 0.94之后，默认的分裂策略是IncreasingToUpperBoundRegi... 阅读全文
posted @ 2014-09-13 17:23 吴镝 阅读(5086) 评论(0) 推荐(0)
HBase Scan流程分析
摘要：##HBase Scan流程分析HBase的读流程目前看来比较复杂，主要由于：* HBase的表数据分为多个层次,HRegion->HStore->[HFile,HFile,...,MemStore]* RegionServer的LSM-Like存储引擎，不断flush产生新的HFile，同时产生新... 阅读全文
posted @ 2014-09-05 18:00 吴镝 阅读(8779) 评论(0) 推荐(1)
HBase Snapshot原理和实现
摘要：HBase 从0.95开始引入了Snapshot，可以对table进行Snapshot，也可以Restore到Snapshot。Snapshot可以在线做，也可以离线做。Snapshot的实现不涉及到table实际数据的拷贝，仅仅拷贝一些元数据，比如组成table的region info，表的de... 阅读全文
posted @ 2014-08-15 14:35 吴镝 阅读(8771) 评论(0) 推荐(1)
HBase 负载均衡
摘要：HBase 可以根据当前集群的负载以region为单位进行rebalance。在HMaster中，后台会起一个线程定期检查是否需要进行rebalance，线程叫做BalancerChore。线程每隔hbase.balancer.period会定期执行 master.balance()函数，配置项默... 阅读全文
posted @ 2014-08-08 15:54 吴镝 阅读(9617) 评论(0) 推荐(1)
HBase的写事务，MVCC及新的写线程模型
摘要：MVCC是实现高性能数据库的关键技术，主要为了读不影响写。几乎所有数据库系统都用这技术，比如Spanner，看这里。Percolator，看这里。当然还有mysql。本文说HBase的MVCC和0.98引入的新写线程模型。 HBase region server的存储模型类LSM，将随机写转换为顺... 阅读全文
posted @ 2014-08-08 11:48 吴镝 阅读(3216) 评论(0) 推荐(0)
HBase RegionServer宕机处理恢复
摘要：本文分析RegionServer宕机后这个region server上的region是如何在其他region server上恢复的。region server宕机后发生了什么 HMaster有一个RegionServerTracker对象，监控zk上/hbase/rs目录下的结点，达到监控reg... 阅读全文
posted @ 2014-08-07 14:13 吴镝 阅读(5724) 评论(0) 推荐(0)