随笔分类 -  Hbase

Hbase万亿级存储性能优化总结-配置
摘要：背景 hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库，为及早发现集群中的问题，还开发了一套对hbase 阅读全文
posted @ 2019-12-30 17:13 leon0 阅读(599) 评论(0) 推荐(0)
hbase 读写和优化
摘要：转自： https://blog.csdn.net/wuxintdrh/article/details/69056188 阅读全文
posted @ 2019-12-30 14:41 leon0 阅读(139) 评论(0) 推荐(0)
HBase删除数据的原理
摘要：转自：https://blog.csdn.net/cenjianteng/article/details/96645447 HBase 的删除操作并不会立即将数据从磁盘上删除，删除操作主要是对要被删除的数据打上标记。 当执行删除操作时，HBase 新插入一条相同的 KeyValue 数据，但是使 k 阅读全文
posted @ 2019-12-18 15:57 leon0 阅读(1585) 评论(0) 推荐(0)
hbase数据加盐（Salting）存储与协处理器查询数据的方法
摘要：转自： https://blog.csdn.net/finad01/article/details/45952781 hbase数据加盐（Salting）存储与协处理器查询数据的方法 用HBase存储数据时，如果不加任何处理，用户数据往往会集中在几个region中，从而导致数据处理的性能问题，写性能 阅读全文
posted @ 2019-10-15 14:13 leon0 阅读(926) 评论(0) 推荐(0)
Hbase内存磁盘大致关系
摘要：转自： https://blog.csdn.net/wuwenxiang91322/article/details/51595771 Hbase内存磁盘关系磁盘数 diskNum磁盘容量 diskCapacity备份数 replications单个HFile文件大小 hbase.hregion.ma 阅读全文
posted @ 2019-10-15 14:10 leon0 阅读(684) 评论(0) 推荐(0)
Hbase 多条件查询
摘要：/** * 获得相等过滤器。相当于SQL的 [字段] = [值] * @param cf 列族名 * @param col 列名 * @param val 值 * @return 过滤器 */ public static Filter eqFilter(String cf, String col, byte[] val) { SingleColumnValueFilter f = new Sing 阅读全文
posted @ 2019-08-20 10:12 leon0 阅读(3128) 评论(0) 推荐(0)
HBase的rowkey设计（含实例）
摘要：转自：http://www.aboutyun.com/thread-7119-1-1.html 对于任何系统的数据设计，我们都想提高性能，达到资源最大化利用，那么对于hbase我们产生如下问题：1.hbase rowkey设计如何才能提高性能？2.hbase rowkey如何设计才能散列到不同的节点 阅读全文
posted @ 2019-07-08 10:18 leon0 阅读(2817) 评论(0) 推荐(1)
HBase的java操作，最新API。（查询指定行、列、插入数据等）
摘要：关于HBase环境搭建和HBase的原理架构，请见笔者相关博客。 1.HBase对java有着较优秀的支持，本文将介绍如何使用java操作Hbase。 首先是pom依赖： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hba 阅读全文
posted @ 2019-07-04 09:41 leon0 阅读(4160) 评论(0) 推荐(0)