11 2018 档案

摘要：hbase基本存储组织结构与数据读取组织结构对比 Segment是Hbase2.0的概念，MemStore由一个可写的Segment，以及一个或多个不可写的Segments构成。故hbase 1. 版本中的MemstoreScanner变成了SegmentScanner。 对应关系表 Hbase存储 阅读全文

摘要：笔者从一开始接触hbase就在思考rowkey设计，希望rowkey设计得好，能够支持查询的需求。使用hbase一段时间后，再去总结一些hbase的设计方法，无外乎以下几种： reverse salt hash 本质上都是避免热点问题。那么如何根据查询场景设计rowkey？rowkey设计之道是什么 阅读全文

摘要：笔者早期从事数据开发时，使用spark开发一段时间，感觉大数据开发差不多学到头了，该会的似乎都会了。在后来的实践过程中，发现很多事情需要站在更高的视角来看问题，不然很容易陷入“不识庐山真面目”的境界。最近在思考数据资产管理平台的建设，进行血缘分析开发，有如下感悟： 大数据平台从数据层面来说，包括数据 阅读全文

摘要：keyvalue KeyValue中包含了丰富的自我描述信息: KeyValue是支撑”稀疏矩阵”设计的一个关键点：一些Key相同的任意数量的独立KeyValue就可以构成一行数据。但这种设计带来的一个显而易见的缺点：每一个KeyValue所携带的自我描述信息，会带来显著的数据膨胀。 为什么rowk 阅读全文