随笔分类 - HBase

摘要: 协处理器—Coprocessor 1、 起源 Hbase 作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执 行求和、计数、排序等操作。比如,在旧版本的(<0.92)Hbase 中,统计数据表的总行数,需 要使用 Counter 方法,执行一次 MapReduce Job 才能阅读全文
posted @ 2018-04-03 13:58 扎心了,老铁 阅读(2625) | 评论 (0) 编辑
摘要: 建表高级属性 下面几个 shell 命令在 hbase 操作中可以起到很大的作用,且主要体现在建表的过程中,看 下面几个 create 属性 1、 BLOOMFILTER 默认是 NONE 是否使用布隆过虑及使用何种方式,布隆过滤可以每列族单独启用 使用 HColumnDescriptor.setB阅读全文
posted @ 2018-04-03 13:03 扎心了,老铁 阅读(2653) | 评论 (0) 编辑
摘要: HBase phoenix的下载 下载地址http://mirror.bit.edu.cn/apache/phoenix/ 选择对应的hbase版本进行下载,测试使用的是hbase-1.2.6版本阅读全文
posted @ 2018-04-03 12:56 扎心了,老铁 阅读(1937) | 评论 (0) 编辑
摘要: 主要是记录一下链接 http://hbasefly.com阅读全文
posted @ 2018-04-02 20:55 扎心了,老铁 阅读(2335) | 评论 (0) 编辑
摘要: 系统架构 错误图解 这张图是有一个错误点:应该是每一个 RegionServer 就只有一个 HLog,而不是一个 Region 有一个 HLog。 正确图解 从HBase的架构图上可以看出,HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HReg阅读全文
posted @ 2018-04-02 20:14 扎心了,老铁 阅读(4491) | 评论 (0) 编辑
摘要: 过滤器(Filter) 基础API中的查询操作在面对大量数据的时候是非常苍白的,这里Hbase提供了高级的查询方法:Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤,基于Hbase本身提供的三维有序(主键有序、列有序、版本有序),这些Filter可以高效的完成查询过滤的任务阅读全文
posted @ 2018-04-02 18:42 扎心了,老铁 阅读(5249) | 评论 (0) 编辑
摘要: MapReduce从HDFS读取数据存储到HBase中 现有HDFS中有一个student.txt文件,格式如下 将HDFS上的这个文件里面的数据写入到HBase数据块中 MapReduce实现代码如下 MapReduce从HBase读取数据计算平均年龄并存储到HDFS中阅读全文
posted @ 2018-04-02 12:28 扎心了,老铁 阅读(6964) | 评论 (1) 编辑
摘要: Eclipse环境搭建 具体的jar的引入方式可以参考http://www.cnblogs.com/qingyunzong/p/8623309.html HBase API操作表和数据阅读全文
posted @ 2018-03-31 09:55 扎心了,老铁 阅读(3793) | 评论 (1) 编辑
摘要: 进入HBase命令行 在你安装的随意台服务器节点上,执行命令:hbase shell,会进入到你的 hbase shell 客 户端 说明,先看一下提示。其实是不是有一句很重要的话: 讲述了怎么获得帮助,怎么退出客户端 help 获取帮助 help:获取所有命令提示 help "dml" :获取一组阅读全文
posted @ 2018-03-31 09:50 扎心了,老铁 阅读(4849) | 评论 (1) 编辑
摘要: 前提 1、HBase 依赖于 HDFS 做底层的数据存储 2、HBase 依赖于 MapReduce 做数据计算 3、HBase 依赖于 ZooKeeper 做服务协调 4、HBase源码是java编写的,安装需要依赖JDK 版本选择 打开官方的版本说明http://hbase.apache.org阅读全文
posted @ 2018-03-29 17:16 扎心了,老铁 阅读(6825) | 评论 (4) 编辑
摘要: 产生背景 自 1970 年以来,关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后, 好多公司实现处理大数据并从中受益,并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统,用于存储大数据,并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大阅读全文
posted @ 2018-03-29 11:34 扎心了,老铁 阅读(9614) | 评论 (2) 编辑