大数据之路

博客园 首页 新随笔 联系 订阅 管理

随笔分类 -  大数据-hbase

摘要:环境部署: hbase 采用azure的虚机,存储采用azure的blockblob。 问题: 生产碰到过几次,hbase master无法启动的问题,这种情况下是可以正常读写,但是如果这个时候,发生master切换,集群是无法正常工作的,后果是灾难性的。 此时 hbase master 界面无法访 阅读全文
posted @ 2019-12-15 20:41 小潘 阅读(876) 评论(0) 推荐(0)

摘要:一、概述 hbase 写入优化除了参数配置之外,很大的一块要考虑避免region的热点问题,避免region 热点问题,主要的目的是提高hbase 数据表rowkey的分散。结合实际情况主要有以下几个办法 1.1 rowkey的创建规则 避免, 比如 通过rowkey前几位的hash。业务规则避免, 阅读全文
posted @ 2019-08-25 21:51 小潘 阅读(639) 评论(0) 推荐(0)

摘要:一、Hbase 写入慢时的集群异常指标 关于hbase写入优化的文章很多,这里主要记录下,生产hbase集群针对写入的一次优化过程。 hbase写入慢时,从hbase集群监控到的一些指标 -hbase 采用HDP 2.6 ,Hbase -1.1.2 HBase的吞吐量 达到一个峰值之后,瞬间下降,无 阅读全文
posted @ 2019-07-12 21:12 小潘 阅读(1446) 评论(0) 推荐(0)

摘要:一、HBase 的TTL 应用的需求 全链路的持久化为HBase的一个应用场景,主要实现的场景描述如下: 公司所有的业务系统的每一次调用过程称之为一次链路 例如: 用户的每次开启充电,从app端的开始调用,到最后充电桩开始将能量输送到车上,这是一个链路 监控系统会将每次链路经过的服务名、服务的参数、 阅读全文
posted @ 2019-07-12 18:43 小潘 阅读(708) 评论(0) 推荐(0)