上一页 1 2 3 4 5 6 ··· 10 下一页
摘要: package test091201;import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;impo... 阅读全文
posted @ 2015-09-30 14:53 skyl夜 阅读(521) 评论(0) 推荐(0) 编辑
摘要: Hive集成HBase可以有效利用HBase数据库的存储特性,如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类。 整合hive... 阅读全文
posted @ 2015-09-30 14:37 skyl夜 阅读(5096) 评论(0) 推荐(0) 编辑
摘要: zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regi... 阅读全文
posted @ 2015-09-28 21:53 skyl夜 阅读(740) 评论(0) 推荐(0) 编辑
摘要: 1.处理hadoop的namenode宕机 处理措施:进入hadoop的bin目录,重启namenode服务 操作命令:cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode2.处理hadoop的jobtacker宕机 处理措施:进... 阅读全文
posted @ 2015-09-26 17:02 skyl夜 阅读(393) 评论(0) 推荐(0) 编辑
摘要: 1.HBase预分区HBase在创建表时,默认会自动创建一个Region分区。在导入数据时,所有客户端都向这个Region写数据,直到这个Region足够大才进行切分。这样在大量数据并行写入时,容易引起单点负载过高,从而影响入库性能。一个好的方法是在建立HBase表时预先分配数个Region,这样写... 阅读全文
posted @ 2015-09-16 20:07 skyl夜 阅读(2697) 评论(0) 推荐(0) 编辑
摘要: 比较运算符 CompareFilter.CompareOp比较运算符用于定义比较关系,可以有以下几类值供选择:EQUAL 相等GREATER 大于GREATER_OR_EQUAL 大于等于LESS 小于LESS_OR_EQUAL 小于等于NOT_EQUAL 不等于比较器 ByteArrayComp... 阅读全文
posted @ 2015-09-14 17:38 skyl夜 阅读(6719) 评论(0) 推荐(1) 编辑
摘要: 对于数据操作,HBase支持四类主要的数据操作,分别是:Put :增加一行,修改一行Delete :删除一行,删除指定列族,删除指定column的多个版本,删除指定column的制定版本等Get :获取指定行的所有信息,获取指定行和指定列族的所有colunm,获取指定column,获取指定colum... 阅读全文
posted @ 2015-09-12 22:22 skyl夜 阅读(13683) 评论(1) 推荐(3) 编辑
摘要: 1.Row Key基本原则是:(1).由于读取数据只能依靠RowKey,所以应把经常使用到的字段作为行键{如手机号+时间戳拼接的字符串} (2).RowKey长度越短越好,最好不要超过16个字节。从表的形式看,主要有列少行多的高表和行多列少的宽表,一般情况高表更有优势,因为HBase只能按行拆分。 ... 阅读全文
posted @ 2015-09-11 20:22 skyl夜 阅读(549) 评论(0) 推荐(0) 编辑
摘要: 1.进入hbase命令行./hbase shell2.基本命令 显示hbase中的表Listlist 查询user表中的所有信息Scanscan 'users' 清空user表中的数据Truncate (等同于disable + drop + create)truncate 'users' ... 阅读全文
posted @ 2015-09-11 19:46 skyl夜 阅读(624) 评论(0) 推荐(0) 编辑
摘要: HBase表备份其实就是先将Table导出,再导入两个过程。导出过程//hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 数据文件位置//数据文件位置:可以是本地文件目录,也可以是hdfs路径//当其为前者时,必须加上前缀file://... 阅读全文
posted @ 2015-09-11 17:26 skyl夜 阅读(4826) 评论(1) 推荐(2) 编辑
上一页 1 2 3 4 5 6 ··· 10 下一页