随笔分类 -  HBase

HBase集群搭建
摘要：写在开头：在部署hbase集群之前，先把hadoop集群部署好。然后把zookeeper集群部署好。然后部署hbase，注意hbase相关的配置文件。1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）//注意：要把hadoop的hdfs-site.xm... 阅读全文
posted @ 2015-10-04 12:22 skyl夜 阅读(484) 评论(0) 推荐(0)
HBase脚本命令
摘要：脚本使用小结：1.开启集群，start-hbase.sh2.关闭集群，stop-hbase.sh3.开启/关闭【所有】的regionserver、zookeeper，hbase-daemons.sh start/stop regionserver/zookeeper4.开启/关闭【单个】的regio... 阅读全文
posted @ 2015-10-03 20:11 skyl夜 阅读(3966) 评论(0) 推荐(0)
数据导入(二):MapReduce
摘要：package test091201;import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;impo... 阅读全文
posted @ 2015-09-30 14:53 skyl夜 阅读(537) 评论(0) 推荐(0)
数据导入(一):Hive On HBase
摘要：Hive集成HBase可以有效利用HBase数据库的存储特性，如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类。 整合hive... 阅读全文
posted @ 2015-09-30 14:37 skyl夜 阅读(5126) 评论(0) 推荐(0)
HBase参数优化
摘要：zookeeper.session.timeout默认值：3分钟(180000ms)说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regi... 阅读全文
posted @ 2015-09-28 21:53 skyl夜 阅读(774) 评论(0) 推荐(0)
HBase优化相关
摘要：1.HBase预分区HBase在创建表时，默认会自动创建一个Region分区。在导入数据时，所有客户端都向这个Region写数据，直到这个Region足够大才进行切分。这样在大量数据并行写入时，容易引起单点负载过高，从而影响入库性能。一个好的方法是在建立HBase表时预先分配数个Region，这样写... 阅读全文
posted @ 2015-09-16 20:07 skyl夜 阅读(2748) 评论(0) 推荐(0)
HBase Filter及对应Shell
摘要：比较运算符 CompareFilter.CompareOp比较运算符用于定义比较关系，可以有以下几类值供选择：EQUAL 相等GREATER 大于GREATER_OR_EQUAL 大于等于LESS 小于LESS_OR_EQUAL 小于等于NOT_EQUAL 不等于比较器 ByteArrayComp... 阅读全文
posted @ 2015-09-14 17:38 skyl夜 阅读(6853) 评论(0) 推荐(1)
HBase API 基础操作
摘要：对于数据操作，HBase支持四类主要的数据操作，分别是：Put ：增加一行，修改一行Delete ：删除一行，删除指定列族，删除指定column的多个版本，删除指定column的制定版本等Get ：获取指定行的所有信息，获取指定行和指定列族的所有colunm，获取指定column，获取指定colum... 阅读全文
posted @ 2015-09-12 22:22 skyl夜 阅读(13838) 评论(1) 推荐(3)
HBase相关概念
摘要：1.Row Key基本原则是：(1).由于读取数据只能依靠RowKey，所以应把经常使用到的字段作为行键{如手机号+时间戳拼接的字符串} (2).RowKey长度越短越好，最好不要超过16个字节。从表的形式看，主要有列少行多的高表和行多列少的宽表，一般情况高表更有优势，因为HBase只能按行拆分。 ... 阅读全文
posted @ 2015-09-11 20:22 skyl夜 阅读(577) 评论(0) 推荐(0)
HBase Shell相关
摘要：1.进入hbase命令行./hbase shell2.基本命令 显示hbase中的表Listlist 查询user表中的所有信息Scanscan 'users' 清空user表中的数据Truncate (等同于disable + drop + create)truncate 'users' ... 阅读全文
posted @ 2015-09-11 19:46 skyl夜 阅读(637) 评论(0) 推荐(0)
HBase表的备份
摘要：HBase表备份其实就是先将Table导出，再导入两个过程。导出过程//hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 数据文件位置//数据文件位置：可以是本地文件目录,也可以是hdfs路径//当其为前者时,必须加上前缀file://... 阅读全文
posted @ 2015-09-11 17:26 skyl夜 阅读(4906) 评论(1) 推荐(2)
HBase相关问题
摘要：HBase和Hive的异同之处?共同点：HBase与Hive都是架构在Hadoop之上，底层存储都是使用HDFS区别： 1). Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统。HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。 2).hive... 阅读全文
posted @ 2015-09-11 13:04 skyl夜 阅读(492) 评论(0) 推荐(0)
HBase数据模型
摘要：Row Key类似于MySQL中的主键，HBase天然自带的，在创建时不需要显示指定。HBase不支持条件查询和Order by等查询，读取记录只有三种方式：①. 通过单个Row key访问【速度很快,因为存在着索引机制】②. 给定Row key的range ③. 全表扫描Row key按照字典序存... 阅读全文
posted @ 2015-09-10 17:33 skyl夜 阅读(880) 评论(0) 推荐(0)
HBase安装过程
摘要：1).上传，解压，重命名，修改环境变量/etc/profile2).修改 hbase-env.sh 文件export JAVA_HOME=/usr/java/jdk1.7.0_27 //Java 安装路径export HBASE_CLASSPATH=/hadoop/hbase-0.96.2 //HB... 阅读全文
posted @ 2015-09-09 21:38 skyl夜 阅读(373) 评论(0) 推荐(0)
HBase物理模型
摘要：Client使用HBase RPC机制与HMaster和HRegionServer进行通信Client与HMaster进行通信进行管理类操作Client与HRS进行数据读写类操作包含访问HBase的接口，并维护缓存cache来加快对HBase的访问，比如HR的位置信息。在启动一个Client到HBa... 阅读全文
posted @ 2015-09-09 15:43 skyl夜 阅读(917) 评论(0) 推荐(0)