随笔分类 -  HBase

摘要:摘要 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询 应用场景 1. 将ETL操作的数据存入HBase 2. HBase作为Hive的数据源 3. 构建低延时的数据仓库 应用场景 1. 将ETL操作的数据存入HBase 阅读全文
posted @ 2016-07-25 16:43 MOBIN 阅读(26140) 评论(0) 推荐(9) 编辑
摘要:摘要 最近做的一个项目涉及到了多条件的组合查询,数据存储用的是HBase,恰恰HBase对于这种场景的查询特别不给力,一般HBase的查询都是通过RowKey(要把多条件组合查询的字段都拼接在RowKey中显然不太可能),或者全表扫描再结合过滤器筛选出目标数据(太低效),所以通过设计HBase的二级 阅读全文
posted @ 2016-06-12 23:59 MOBIN 阅读(44451) 评论(2) 推荐(24) 编辑
摘要:摘要 加载数据到HBase的方式有多种,通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入(耗费磁盘I/O,容易在导入的过程使节点宕机),但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下,今天要讲的就是利用HBase在HDFS存储原理及M 阅读全文
posted @ 2016-06-04 21:33 MOBIN 阅读(17531) 评论(1) 推荐(7) 编辑
摘要:先简单讲讲只用HBase来实现分页的思路: HBase利用scan来扫描表,通过startKey,stopKey来确定扫描范围,在需要进行分页时可以结合HBase提供的PagefFilter过滤扫描的行数使scan返回N条数据达到分页的目的(N为每页的记数),此时有以下两种方案达可以达到分页目的: 阅读全文
posted @ 2016-03-02 15:09 MOBIN 阅读(3990) 评论(0) 推荐(0) 编辑
摘要:最近在做web项目使用到了Hadoop,HBase,在这里对Spring For Hadoop(SHDP)的使用做个总结,主要使用了SHDP中提供的一些封装好的HBase模块。 Spring For Hadoop--Working With HBase的介绍 SHDP对HBase和Spring进行了 阅读全文
posted @ 2016-01-23 12:09 MOBIN 阅读(1875) 评论(0) 推荐(1) 编辑
摘要:DependentColumnFilter是一种允许用户指定一个参考列或引用列来过滤其他列的过滤器,过滤的原则是基于参考列的时间戳来进行筛选 。 官方说明: 大意:此过滤器提供两个参数--列族和列限定符,它将返回与参考列具有相同时间戳的行的所有键值对。如果某行不包含这个指定的列,则什么都不返回。 此 阅读全文
posted @ 2015-11-29 22:54 MOBIN 阅读(3268) 评论(0) 推荐(1) 编辑
摘要:1.输入hbase shell进入HBase shell 2.创建表: 命令格式:create '表名称','列族名称1','列族名称2','列族名称N' 创建一个表名称为users,列族名称为sex和info的表 3.使用list命令查看刚所建的表 4.添加数据: 命令格式:put '表名称',' 阅读全文
posted @ 2015-07-15 10:14 MOBIN 阅读(2697) 评论(0) 推荐(0) 编辑