随笔分类 - Hbase
摘要:1、compression 默认值是 NONE 即不使用压缩, 这个参数意思是该列族是否采用压缩,采用什么压缩算 法 方法: create 'table',{NAME=>'info',COMPRESSION=>'SNAPPY'} 建议采用 SNAPPY 压缩算法 , HBase 中,在 Snappy
阅读全文
摘要:一 基础理论 Hbase是一个非分布式的,面向列的开源数据库 基于BigTable 非结构化 存储在HDFS上,备份机制 线性扩展 cluster / slave Hmaster Regionserver Hbase架构图: 组件功能: Hbase数据模型: NameSpace Rowkey fam
阅读全文
摘要:本文参考:https://www.cnblogs.com/skyl/p/4803738.html
阅读全文
摘要:继续SparkStreaming整合Kafka 其实将offset保存在zookeeper上不适用于高并发的情况的,于是乎,借鉴上次的代码。将offset保存在Hbasea上的方法也大概写了一下,暂时运行起来是没有问题的。 直接上代码(代码比较粗糙,但是思路应该还算清晰): 相比较上次的坑倒是没有很
阅读全文

浙公网安备 33010602011771号