摘要： package test091201;import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;impo... 阅读全文

摘要： Hive集成HBase可以有效利用HBase数据库的存储特性，如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类。 整合hive... 阅读全文

摘要： zookeeper.session.timeout默认值：3分钟(180000ms)说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regi... 阅读全文

摘要： 1.处理hadoop的namenode宕机 处理措施：进入hadoop的bin目录，重启namenode服务 操作命令：cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode2.处理hadoop的jobtacker宕机 处理措施：进... 阅读全文

摘要： 1.HBase预分区HBase在创建表时，默认会自动创建一个Region分区。在导入数据时，所有客户端都向这个Region写数据，直到这个Region足够大才进行切分。这样在大量数据并行写入时，容易引起单点负载过高，从而影响入库性能。一个好的方法是在建立HBase表时预先分配数个Region，这样写... 阅读全文

摘要： 比较运算符 CompareFilter.CompareOp比较运算符用于定义比较关系，可以有以下几类值供选择：EQUAL 相等GREATER 大于GREATER_OR_EQUAL 大于等于LESS 小于LESS_OR_EQUAL 小于等于NOT_EQUAL 不等于比较器 ByteArrayComp... 阅读全文

摘要： 对于数据操作，HBase支持四类主要的数据操作，分别是：Put ：增加一行，修改一行Delete ：删除一行，删除指定列族，删除指定column的多个版本，删除指定column的制定版本等Get ：获取指定行的所有信息，获取指定行和指定列族的所有colunm，获取指定column，获取指定colum... 阅读全文

摘要： 1.Row Key基本原则是：(1).由于读取数据只能依靠RowKey，所以应把经常使用到的字段作为行键{如手机号+时间戳拼接的字符串} (2).RowKey长度越短越好，最好不要超过16个字节。从表的形式看，主要有列少行多的高表和行多列少的宽表，一般情况高表更有优势，因为HBase只能按行拆分。 ... 阅读全文

摘要： 1.进入hbase命令行./hbase shell2.基本命令 显示hbase中的表Listlist 查询user表中的所有信息Scanscan 'users' 清空user表中的数据Truncate (等同于disable + drop + create)truncate 'users' ... 阅读全文

摘要： HBase表备份其实就是先将Table导出，再导入两个过程。导出过程//hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 数据文件位置//数据文件位置：可以是本地文件目录,也可以是hdfs路径//当其为前者时,必须加上前缀file://... 阅读全文