摘要：HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。 如上图所示，key1,key2,key3是三条记录的唯一的row key值，column-family1,column-family2,column-family3是三个列族，每个列族下又包括几列。比如column-family1这个列族下包括两列，名字是column1和column2，t1:... 阅读全文

摘要：也分为行列，行是索引，锁定数据，查找数据只能通过行列：建表时必须知道列族，真实列（列簇）在插入数据时候可以指定 查找指定列，必须带列族，列族1：name 阅读全文

摘要：一. shell命令1. 进入hbase命令行 ./hbase shell2. 显示hbase中的表 list3. 创建user表，包含info、data两个列族create 'user', 'info', 'data'create 'user', {NAME => 'info', VERSIONS => '3'}4. 向表中插入信息：向user表中插入信息，row key为rk0001，列族... 阅读全文

摘要：Hadoop学习笔记之HBase Shell语法练习作者：hugengyong下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称'查看表中的记... 阅读全文

摘要：安装之前 - 检查必要条件(1) Java （需要安装1.6.x及其以上版本)在终端输入 java -version 来查看你机子上的 Java 版本；(2) Hadoop需要注意的是伪分布模式下，HBase 的版本需要和 Hadoop版本 匹配 ，不然很可能容易出错。你可以在HBase的lib目录下看到对应的Hadoop的Jar文件版本。在这里，我们使用了Hadoop V2.4.1版本以及HBa... 阅读全文

摘要：1.1 连接HBase使用hbase shell命令来连接正在运行的Hbase实例，该命令位于HBase安装包下的bin/目录。HBase Shell提示符以>符号结束。$ ./bin/hbase shell hbase(main):001:0>1.2 显示HBase Shell 帮助文档输入help并按Enter键，可以显示HBase Shell的基本使用信息，和我们接下来会列举的一些命令类似。... 阅读全文

摘要：在这篇文章中，你将会对在HBase中可用的数据备份机制有一个高层次的简要了解，并且知道多种数据恢复/容灾机制。在阅读了这篇文章之后，你应该能对你的业务需要那种BDR策略有了自己的判断。你也应该明白各种机制各自的优缺点（适用于CDH 4.3.0/HBase 0.94.6及更高版本）。备份HBase是一个基于LSM树（log-structured merge-tree）的分布式数据存储系统，它使用复杂... 阅读全文

摘要：Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile -> 单个StoreFile大小超过一定阈值后，触发Spli... 阅读全文

摘要：HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错 HBase Shell 命令时用键盘上的“Delete”进行删除,“Backspace”不起作用。在启动 HBase 之后,用户可... 阅读全文

摘要：两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami表的管理1）查看有哪些表h... 阅读全文

摘要：前一篇文章《HDFS和Hbase误删数据恢复》主要讲了hdfs的回收站机制和Hbase的删除策略。根据hbase的删除策略进行hbase的数据表恢复。本文主要介绍了hdfs的快照原理和根据快照进行的数据恢复。1.Hdfs的快照原理1.1 快照原理 Hdfs的快照（snapshot）是在某一时间点对指定文件系统拷贝，快照采用只读模式，可以对重要数据进行恢复、防止用户错误性的操作。 ... 阅读全文

摘要：1、错误描述： 出现上述这个错误的原因是我之前已经安装了Cloudera Manager中的CDH，其中添加了所有的服务，当然也包含HBase。然后重新安装的时候，就会出现如下错误： Failed to become active master，org.apache.hadoop.hbase.TableExistsException:hbase:namespace.根据上面错误的我们可以很清楚... 阅读全文

摘要：这个报错一般存在于独立安装Zookeeper集群中。报这个错的操作时这样的，先停掉了了HbaseformatZK后重启Hbase启动hbase shell 后HMaster挂掉，看log里就有这个报错TableExistsException: hbase:namespace这个时候需要输入zkCli.sh，把Zookeeper里的/hbase目录删除。 这个报错的意思有可能是指hbase的name... 阅读全文

摘要：前一篇文章《HDFS和Hbase误删数据恢复》主要讲了hdfs的回收站机制和Hbase的删除策略。根据hbase的删除策略进行hbase的数据表恢复。本文主要介绍了hdfs的快照原理和根据快照进行的数据恢复。1.Hdfs的快照原理1.1 快照原理 Hdfs的快照（snapshot）是在某一时间点对指定文件系统拷贝，快照采用只读模式，可以对重要数据进行恢复、防止用户错误性的操作。 ... 阅读全文

摘要：1、介绍在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作，HBase全局管理员可以创建、修改和回收namespace的授权。2、namespaceHBase系统默认定义了两个缺省的namespacehbase：系统内建表，包... 阅读全文

摘要：有些时候需要我们去统计某一个Hbase表的行数，由于hbase本身不支持SQL语言，只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作：1.count命令最直接的方式是在hbase shell中执行count的命令可以统计行数。[html] view plain copyhbase> count ‘t1′ hbase> count ‘t1′, INTERVAL => 100... 阅读全文

摘要：1.概述 客户端往RegionServer端提交数据的时候，会写WAL日志，只有当WAL日志写成功以后，客户端才会被告诉提交数据成功，如果写WAL失败会告知客户端提交失败，换句话说这其实是一个数据落地的过程。在一个RegionServer上的所有的Region都共享一个HLog，一次数据的提交是先写WAL，再写memstore，示意图如下 2.HLog Class WAL的实现类是HLog，当一... 阅读全文

摘要：概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。Hbase表... 阅读全文

摘要：HBase的数据备份或者容灾方案有这几种：Distcp，CopyTable，Export/Import，Snapshot，Replication，以下分别介绍（以下描述的内容均是基于0.94.20版本）。 一、Distcp 在使用distcp命令copy hdfs文件的方式实现备份时，需要禁用备份表确保copy时该表没有数据写入，对于在线服务的hbase集群，该方式不可用，而且在一些文章中可以... 阅读全文

摘要：hbase hbck新版本的 hbck 可以修复各种错误，修复选项是： （1）-fix，向下兼容用，被-fixAssignments替代 （2）-fixAssignments，用于修复region assignments错误 （3）-fixMeta，用于修复meta表的问题，前提是HDFS上面的region info信息有并且正确。 （4）-fixHdfsHoles，修复r... 阅读全文