03 2021 档案

Hbase的Schema设计
摘要：Preface 下面将描述几个Hbase典型数据接入用户案例，Rowkey如何设计和构造的方法； 提示：这些只是提供可能的方法，非详尽的方法，这取决于你的业务需求。 Log Data / Timeseries Data 假设如下数据元素已经归集： Hostname Timestamp Log eve 阅读全文
posted @ 2021-03-31 10:41 lenomail 阅读(275) 评论(0) 推荐(0)
Correct keeping Deleted Cells
摘要：Let us illustrate the basic effect of setting the KEEP_DELETED_CELLS attribute on a table. Execute those following SQL. create 'test', {NAME=>'e', VER 阅读全文
posted @ 2021-03-30 22:31 lenomail 阅读(46) 评论(0) 推荐(0)
Rowkey设计
摘要：Rowkey的设计是hbase中设计非常重要的一点，若干性能上的问题都是基于这个引发的。 1. Hotspotting ref : https://hbase.apache.org/book.html#rowkey.design 阅读全文
posted @ 2021-03-30 10:21 lenomail 阅读(56) 评论(0) 推荐(0)
转：深入HBase架构解析（二）
摘要：HBase读的实现 通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cell真正删除了，因而这就引起了一个问题，如何实现读的问题？要 阅读全文
posted @ 2021-03-15 14:56 lenomail 阅读(74) 评论(0) 推荐(0)
HBase 数据库检索性能优化策略
摘要：HBase 数据表优化 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，但是当并发量过高或者已有数据量很大时，读写性能会下降。我们可以采用如下方式逐步提升 HBase 的检索速度。 预先分区 默认情况下，在创建 HBase 表的时候会自动创建一个 Region 分区，当导入数据的时 阅读全文
posted @ 2021-03-11 13:54 lenomail 阅读(260) 评论(0) 推荐(0)
HBase表rowKey设计原则
摘要：rowkey设计首先应当遵循三大原则： rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。 一般越短越好，不要超过16个字节，注意原因如下： 1、目前操作系统都是64位系统，内存 阅读全文
posted @ 2021-03-08 10:46 lenomail 阅读(171) 评论(0) 推荐(0)
转：深入HBase架构解析（一）
摘要：HBase架构组成 HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构 阅读全文
posted @ 2021-03-04 13:29 lenomail 阅读(141) 评论(0) 推荐(0)
HBASE表介绍
摘要：Hbase表 表(Table): 表名是映射成hdfs上面的文件，所以要合法名字。 行(Row): 每一行都是以一个行键（Row Key）来进行唯一标识的，以二进制的字节来存储。 列族(Column Family): 列族一旦确定后，就不能轻易修改，因为它会影响到HBase真实的物理存储结构，但是列 阅读全文
posted @ 2021-03-04 10:26 lenomail 阅读(903) 评论(0) 推荐(0)
转：HBase表设计介绍
摘要：概述 HBase和传统的数据库有很大的不同之处，比如MySQL,PostGreSQL,Oracle等。在架构和提供的特性方面都有不同之处，HBase去掉了一些伸缩和灵活性的特性，这也就使得hbase拥有一个非常不同的数据模型。设计hbase的表和传统关系数据库非常不同。我会通过解释hbase数据模型 阅读全文
posted @ 2021-03-03 13:59 lenomail 阅读(221) 评论(0) 推荐(0)