随笔分类 -  Hbase

摘要:1、compression 默认值是 NONE 即不使用压缩, 这个参数意思是该列族是否采用压缩,采用什么压缩算 法 方法: create 'table',{NAME=>'info',COMPRESSION=>'SNAPPY'} 建议采用 SNAPPY 压缩算法 , HBase 中,在 Snappy 阅读全文
posted @ 2018-09-18 15:02 麻辣小虾 阅读(4785) 评论(0) 推荐(0)
摘要:一 基础理论 Hbase是一个非分布式的,面向列的开源数据库 基于BigTable 非结构化 存储在HDFS上,备份机制 线性扩展 cluster / slave Hmaster Regionserver Hbase架构图: 组件功能: Hbase数据模型: NameSpace Rowkey fam 阅读全文
posted @ 2018-09-18 14:57 麻辣小虾 阅读(10772) 评论(0) 推荐(0)
摘要:本文参考:https://www.cnblogs.com/skyl/p/4803738.html 阅读全文
posted @ 2018-09-18 14:32 麻辣小虾 阅读(532) 评论(0) 推荐(0)
摘要:继续SparkStreaming整合Kafka 其实将offset保存在zookeeper上不适用于高并发的情况的,于是乎,借鉴上次的代码。将offset保存在Hbasea上的方法也大概写了一下,暂时运行起来是没有问题的。 直接上代码(代码比较粗糙,但是思路应该还算清晰): 相比较上次的坑倒是没有很 阅读全文
posted @ 2018-07-30 17:58 麻辣小虾 阅读(2089) 评论(2) 推荐(1)