Charlist

摘要： 安装之前 - 检查必要条件(1) Java （需要安装1.6.x及其以上版本)在终端输入 java -version 来查看你机子上的 Java 版本；(2) Hadoop需要注意的是伪分布模式下，HBase 的版本需要和 Hadoop版本 匹配 ，不然很可能容易出错。你可以在HBase的lib目录下看到对应的Hadoop的Jar文件版本。在这里，我们使用了Hadoop V2.4.1版本以及HBa... 阅读全文

摘要： 1.1 连接HBase使用hbase shell命令来连接正在运行的Hbase实例，该命令位于HBase安装包下的bin/目录。HBase Shell提示符以>符号结束。$ ./bin/hbase shell hbase(main):001:0>1.2 显示HBase Shell 帮助文档输入help并按Enter键，可以显示HBase Shell的基本使用信息，和我们接下来会列举的一些命令类似。... 阅读全文

摘要： 在这篇文章中，你将会对在HBase中可用的数据备份机制有一个高层次的简要了解，并且知道多种数据恢复/容灾机制。在阅读了这篇文章之后，你应该能对你的业务需要那种BDR策略有了自己的判断。你也应该明白各种机制各自的优缺点（适用于CDH 4.3.0/HBase 0.94.6及更高版本）。备份HBase是一个基于LSM树（log-structured merge-tree）的分布式数据存储系统，它使用复杂... 阅读全文

摘要： Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile -> 单个StoreFile大小超过一定阈值后，触发Spli... 阅读全文

摘要： 两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami表的管理1）查看有哪些表h... 阅读全文

摘要： 前一篇文章《HDFS和Hbase误删数据恢复》主要讲了hdfs的回收站机制和Hbase的删除策略。根据hbase的删除策略进行hbase的数据表恢复。本文主要介绍了hdfs的快照原理和根据快照进行的数据恢复。1.Hdfs的快照原理1.1 快照原理 Hdfs的快照（snapshot）是在某一时间点对指定文件系统拷贝，快照采用只读模式，可以对重要数据进行恢复、防止用户错误性的操作。 ... 阅读全文

摘要： HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错 HBase Shell 命令时用键盘上的“Delete”进行删除,“Backspace”不起作用。在启动 HBase 之后,用户可... 阅读全文

摘要： 1、错误描述： 出现上述这个错误的原因是我之前已经安装了Cloudera Manager中的CDH，其中添加了所有的服务，当然也包含HBase。然后重新安装的时候，就会出现如下错误： Failed to become active master，org.apache.hadoop.hbase.TableExistsException:hbase:namespace.根据上面错误的我们可以很清楚... 阅读全文

摘要： 有些时候需要我们去统计某一个Hbase表的行数，由于hbase本身不支持SQL语言，只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作：1.count命令最直接的方式是在hbase shell中执行count的命令可以统计行数。[html] view plain copyhbase> count ‘t1′ hbase> count ‘t1′, INTERVAL => 100... 阅读全文

摘要： 前一篇文章《HDFS和Hbase误删数据恢复》主要讲了hdfs的回收站机制和Hbase的删除策略。根据hbase的删除策略进行hbase的数据表恢复。本文主要介绍了hdfs的快照原理和根据快照进行的数据恢复。1.Hdfs的快照原理1.1 快照原理 Hdfs的快照（snapshot）是在某一时间点对指定文件系统拷贝，快照采用只读模式，可以对重要数据进行恢复、防止用户错误性的操作。 ... 阅读全文