随笔分类 -  HBase

Apache HBase™ is the Hadoop database, a distributed, scalable, big data store
摘要:在之前的文章《深入探讨HBASE》中,笔者详细介绍了 阅读全文
posted @ 2020-12-10 11:24 大数据学习与分享 阅读(328) 评论(0) 推荐(0)
摘要:在做一些数据的迁移,主要是将一些Hive处理之后的热数据导入到HBase中,但是遇到了一个很奇怪的问题:同样的数据到了HBase中,所占空间竟增长了好几倍! 阅读全文
posted @ 2020-12-08 08:59 大数据学习与分享 阅读(455) 评论(0) 推荐(0)
摘要:HBase在WAL机制开启的情况下,不考虑块缓存,数据日志会先写入HLog,然后进入Memstore,最后持久化到HFile中。HFile是存储在hdfs上的,WAL预写日志也是,但Memstore是在内存的 阅读全文
posted @ 2020-12-02 09:01 大数据学习与分享 阅读(508) 评论(0) 推荐(0)
摘要:在阐述HBase高级特性和热点问题处理前,首先回顾一下HBase的特点:分布式、列存储、支持实时读写、存储的数据类型都是字节数组byte[],主要用来处理结构化和半结构化数据,底层数据存储基于hdfs 阅读全文
posted @ 2020-11-25 09:11 大数据学习与分享 阅读(1454) 评论(0) 推荐(0)
摘要:HBase是一个高可靠、高性能、面向列的,主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。它基于Google Bigtable开源实现,但二者有明显的区别:Google Bigtable基于GFS存储,通过MAPREDUCE处理存储的数据,通过chubby处理协同服务;而HBase底层存储基于hdfs,可以利用MapReduce、Spark等计算引擎处理其存储的数据,通过Zookeeper作为处理HBase集群协同服务 阅读全文
posted @ 2020-11-16 09:02 大数据学习与分享 阅读(615) 评论(0) 推荐(0)