随笔分类 -  hbase

hbase实践（十六） BlockCache
摘要：0 引言 和其他数据库一样，优化IO也是HBase提升性能的不二法宝，而提供缓存更是优化的重中之重。 根据二八法则，80%的业务请求都集中在20%的热点数据上，因此将这部分数据缓存起就可以极大地提升系统性能。 HBase在实现中提供了两种缓存结构：MemStore和BlockCache。其中MemS 阅读全文
posted @ 2018-12-16 21:58 small_k 阅读(947) 评论(0) 推荐(0)
hbase实践之数据读取详解
摘要：hbase基本存储组织结构与数据读取组织结构对比 Segment是Hbase2.0的概念，MemStore由一个可写的Segment，以及一个或多个不可写的Segments构成。故hbase 1. 版本中的MemstoreScanner变成了SegmentScanner。 对应关系表 Hbase存储 阅读全文
posted @ 2018-11-25 20:17 small_k 阅读(642) 评论(0) 推荐(0)
hbase实践之Rowkey设计之道
摘要：笔者从一开始接触hbase就在思考rowkey设计，希望rowkey设计得好，能够支持查询的需求。使用hbase一段时间后，再去总结一些hbase的设计方法，无外乎以下几种： reverse salt hash 本质上都是避免热点问题。那么如何根据查询场景设计rowkey？rowkey设计之道是什么 阅读全文
posted @ 2018-11-25 18:16 small_k 阅读(936) 评论(0) 推荐(0)
hbase实践之写流程拾遗
摘要：keyvalue KeyValue中包含了丰富的自我描述信息: KeyValue是支撑”稀疏矩阵”设计的一个关键点：一些Key相同的任意数量的独立KeyValue就可以构成一行数据。但这种设计带来的一个显而易见的缺点：每一个KeyValue所携带的自我描述信息，会带来显著的数据膨胀。 为什么rowk 阅读全文
posted @ 2018-11-05 21:16 small_k 阅读(349) 评论(0) 推荐(0)
hbase实践之flush and compaction
摘要：本文主要涉及flush流程，探讨flush流程过程中引入的问题并阐述2种解决策略，最后简要说明Flush执行策略。 对于Compaction，本文主要探讨Compaction要解决的本质问题以及由Compaction引入的问题。面对Compaction带来的双刃剑，如何根据自己的业务模型合理的执行C 阅读全文
posted @ 2018-10-22 20:25 small_k 阅读(1292) 评论(0) 推荐(0)
hbase实践之HFile结构
摘要：本文目录如下所示： 目录 HFile在HBase架构中的位置 什么是HFile HFile逻辑结构 HFile逻辑结构的优点 HFile物理结构 HFile生成流程 HFile中Block块解析 多大的HFile文件才存在Intermiate Index Block HFile在HBase架构中的位 阅读全文
posted @ 2018-09-27 21:39 small_k 阅读(2636) 评论(0) 推荐(0)
hbase实践之写流程
摘要：内容提要 一、写入流程 1. 初始化ZooKeeper Session，建立长连接，获取META Region的地址。 1. 获取rowkey对应的Region路由信息：来自.meta. 1. 写入region 如何快速定位rowkey所在的Region？ rowkey=tableName+star 阅读全文
posted @ 2018-09-26 21:08 small_k 阅读(308) 评论(0) 推荐(0)
hbase实践之协处理器Coprocessor
摘要：HBase客户端查询存在的问题 Scan 用Get/Scan查询数据， Filter 用Filter查询特定数据 以上情况只适合几千行数据以及不是很多的列的“小数据”。 当表扩展为亿万行及百万列时，在通过网络传递移动大量的数据导致网络拥堵，且客户端需要足够多内存来处理这么大量数据的计算操作，另外，客 阅读全文
posted @ 2018-09-14 19:32 small_k 阅读(6295) 评论(0) 推荐(0)
hbase实践之rowkey设计
摘要：rowkey设计的重要性 rowkeys是HBase表设计中唯一重要的一点。 rowkey设计要求 唯一性 存储特性 按照字典顺序排序存储 查询特性 由于其存储特性导致查询特性： 查询单个记录； 查定一定范围的记录。 可能存在的问题 热点问题 热点问题如何解决 通过多个分区来分散读写压力。 另外一次 阅读全文
posted @ 2018-09-08 22:08 small_k 阅读(555) 评论(0) 推荐(0)