随笔分类 -  HBase

23 HBase 存储架构。
摘要：WAL WAL: Write-Ahead Logging[1] 预写日志系统数据库中一种高效的日志算法，对于非内存数据库而言，磁盘I/O操作是数据库效率的一大瓶颈。在相同的数据量下，采用WAL日志的数据库系统在事务提交时，磁盘写操作只有传统的回滚日志的一半左右，大大提高了数据库磁盘I/O操作的效率，从而提高了数据库的性能。HBase 的工作流程 Client -> Zoo... 阅读全文
posted @ 2015-09-22 18:39 rocky_24 阅读(294) 评论(0) 推荐(0)
HBase为什么快 HBase原理。 HBase几个问题
摘要：背景色表示可以自己做实验搞定1 模拟一组数据 1。2。3。4。5。6。7。8。9。10 1 入 限定符 'one' 2 入 'two' 3 入 'three' 4 four 5 five... HBase 存储，分裂。算法的精妙在何处？ 求大神答：当看书到 HBase 底层的时候就不需要大神来回答了 = =！ 。。。。因为HBase 底层用了 LSM树。 LSM... 阅读全文
posted @ 2015-09-22 10:28 rocky_24 阅读(1367) 评论(0) 推荐(0)
二叉树、B树、B+树、B*树、LSM树
摘要：HBase 对于数据产品，底层存储架构直接决定了数据库的特性和使用场景。RDBMS（关系型数据库）使用 B树 及 B+树 作为数据存储结构。 HBase 使用 LSM树。 。二叉树 所有节点至多拥有两个子节点。节点左指针指向小于其关键字的子树，右指针指向大于其关键字的子树；B树搜索，从根结点开始，... 阅读全文
posted @ 2015-09-10 17:37 rocky_24 阅读(5318) 评论(0) 推荐(1)
二叉树、B树、B+树、B*树、LSM树
摘要：HBase 对于数据产品，底层存储架构直接决定了数据库的特性和使用场景。RDBMS（关系型数据库）使用 B树 及 B+树 作为数据存储结构。 HBase 使用 LSM树。 。二叉树 所有节点至多拥有两个子节点。节点左指针指向小于其关键字的子树，右指针指向大于其关键字的子树；B树搜索，从根结点开始，如果查询的关键字与结点的关键字相等，那么就命中； B+树由于... 阅读全文
posted @ 2015-09-07 15:04 rocky_24 阅读(413) 评论(0) 推荐(0)
九、 HBase SHELL、 JAVA 和 Thrift 客户端
摘要：HBase 由 Java 语言实现，同时他也是最主要最高效的客户端。 相关的类在org.apache.hadoop.hbase.client 包中。涵盖所有 增删改查 API 。 主要的类包含： HTable、HBaseAdmin、Put、Get、Scan、Increment 和 Delete ... 阅读全文
posted @ 2015-08-27 13:29 rocky_24 阅读(513) 评论(0) 推荐(0)
八 rowkey设计 几种方法
摘要：简单来讲，rowkey就是 KeyValue 中的key rowkey设计之尽量散列设计 RowKey 如第三部分第六中讲到，如果数据都是有序的存储到一个特定的范围内，将会存储在一个有特定起始键和停止键的 region 中。 由于一个 region 只能由一个服务器管理， 所以所有的更新都会几种... 阅读全文
posted @ 2015-08-27 11:58 rocky_24 阅读(2626) 评论(0) 推荐(0)
七 HBase表结构设计
摘要：表结构设计之高表与宽表选择 HBase 中的表可以设计为高表（tall-narrow table） 和 宽表（flat-wide table）。 高表 ： 列少而行多。 宽表 ： 行少而列多。 根据之前介绍的 KeyValue 信息的筛选粒度信息，用户应当尽量将需要查询的维度或信息存储在行键... 阅读全文
posted @ 2015-08-27 11:18 rocky_24 阅读(6066) 评论(0) 推荐(0)
六 一行数据存储到文件的过程。
摘要：模式创建 常用创建模式 用户ID + 时间倒序 +。。。 UUID SHA1 MD5等方式 列族：列限定符 A B 两个列族差距大时， 小列族因为分裂很多Region 导致 扫描效率降低。 数据在HBase中如何纠结 啪啦啪啦的走啊走啊 最后变成数据小jb图看了3分钟才明白。。左上:逻... 阅读全文
posted @ 2015-08-27 11:13 rocky_24 阅读(326) 评论(0) 推荐(0)
五、数据模型特殊属性
摘要：数据模型特殊属性 Rowkey、Column（列族和列）、Version 组合在一起称为 HBase 中的一个单元格。有可能会有很多单元格的 行和列 是相同的，要区分不同的单元格可以使用版本。 如果有多个版本的写操作同时发起，HBase 都会保存 可以发起包含版本的写操作Delete 内部删除... 阅读全文
posted @ 2015-08-27 11:12 rocky_24 阅读(322) 评论(0) 推荐(0)
四 数据模型操作
摘要：数据模型的操作 HBase 对数据模型的 4 个主要操作包括 Get、Put、Scan 和 Delete。 通过 HTbale 实例进行操作。 HBase 所有修改数据的操作都保证行级别的原子性。要么读到最新的数据，要么等待系统允许写入改行的修改。 1 Get HTable 类中提供了 get(... 阅读全文
posted @ 2015-08-27 11:05 rocky_24 阅读(477) 评论(0) 推荐(0)
三、 数据模型概念
摘要：1 逻辑模型HBase 中最基本的单位是列，一列或者多列构成了行，行有行键（Rowkey），并且是唯一的。HBase 中的一个表有若干行，每行有很多列，列中的值有多个版本，每个版本的值称为一个单元格，每个单元存储的是不同时刻该列的值。HBase 可以理解为 Map 这种结构的无限嵌套版本。2 物理模... 阅读全文
posted @ 2015-08-27 11:03 rocky_24 阅读(513) 评论(0) 推荐(0)
二、 HBase核心功能模块。
摘要：Hadoop 框架包含两个核心组件：HDFS 和 MapReduce 其中 HDFS 是文件存储系统，负责数据存储； MapReduce 是计算框架，负责数据计算Hbase 数据库核心组件4个。 客户端Client、协调服务模块ZooKeeper、 主节点HMaster 和 Region节点 ... 阅读全文
posted @ 2015-08-27 10:59 rocky_24 阅读(822) 评论(0) 推荐(0)
一、 Hbase特性 3v特性，Volume(量级) Varity(种类) Velocity(速度)
摘要：HBase中表的特点大： 一个表可以由百亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的存储和权限控制，列（族）独立检索稀疏：对于为空（null） 的列，并不占用存储空间，因此表可以设计的非常稀疏。多版本：每个Cell中的数据可以由多个版本，默认情况下版本号自动分配为时间戳。类型唯一：HBa... 阅读全文
posted @ 2015-08-27 10:53 rocky_24 阅读(1776) 评论(0) 推荐(0)

希望祖国繁荣，富强！ God has given me a gift. Only one. I am the most complete fighter in the world. My whole life, I have trained. I must prove I am worthy of someting. rocky_24