摘要：
1. 异常突起 HBase集群的某一个RegionServer的CPU使用率突然飙升到百分之百，单独重启该RegionServer之后，CPU的负载依旧会逐渐攀上顶峰。多次重启集群之后，CPU满载的现象依然会复现，且会持续居高不下，慢慢地该RegionServer就会宕掉，慢慢地HBase集群就完犊 阅读全文
posted @ 2021-07-17 13:17
大猿小猿向前冲no1
阅读(179)
评论(0)
推荐(0)
摘要：
1. 更新预览 在HBaseManager 2.0.6 版本中，主要集成了Kerberos认证以及初步支持HQL的功能。快速体验站点： http://www.jielongping.com:9527/index 账户密码：admin/admin123 2. Kerberos认证 如果你的HBase集 阅读全文
posted @ 2021-07-17 13:16
大猿小猿向前冲no1
阅读(329)
评论(0)
推荐(0)
摘要：
1. 背景 在用arthas神器来诊断hbase异常进程这篇文章中，我详细地记录了一起生产环境中使用HBase的事故，事故发生的大致起因是，一个异常scan导致CPU使用率飙升至百分之百，且巨高不下，从而导致整个集群宕机。 虽然，借助于arthas这个神器，我们很轻易地就定位到了是scan的问题。而 阅读全文
posted @ 2021-07-17 13:14
大猿小猿向前冲no1
阅读(580)
评论(0)
推荐(0)
摘要：
ZGC初体验——OpenJdk 15编译HBase 1.4.8 1. 前言 我们线上HBase集群的GC方式早已切换至G1，而且对G1的各个参数也做了详细的压测，并对比实验结果，搭配出了一组较为优秀的参数配置，再结合我们接口级别的主备熔断机制，在过去很长的一段时间里，我们集群的超时率一直控制在很低的 阅读全文
posted @ 2021-07-17 13:13
大猿小猿向前冲no1
阅读(481)
评论(0)
推荐(0)
摘要：
HBase运维篇 | ZGC初体验——HBase1.4.8安装部署和测试 1. 摘要 接上篇文章——HBase源码篇 | ZGC初体验——OpenJdk 15编译HBase 1.4.8，在上篇文章中，我为大家分享了open jdk 15编译hbase-1.4.8的详细过程，并且也得到了最终可安装的t 阅读全文
posted @ 2021-07-17 13:11
大猿小猿向前冲no1
阅读(239)
评论(0)
推荐(0)
摘要：
目录导读 1. 引言 HBase是一个非常复杂的系统，虽已诞生多年，且被广泛应用，但在日常的维护过程中，偶尔也会遇见莫名其妙的报错或BUG，有些问题会导致系统崩溃，有些问题则无伤大雅。 本文仅以一个小小的日志异常入手，记录自己分析和解决问题的经历，目的不在于好为人师，而只求能抛砖引玉。 2. 异常日 阅读全文
posted @ 2021-07-17 13:10
大猿小猿向前冲no1
阅读(899)
评论(0)
推荐(0)
摘要：
1. 为什么要预分区 一张表被首次创建时，只会分配一个region给这个表。因此，在刚刚开始时，所有读写请求都会落在这个region所在的region server上，而不管你整个集群有多少个region server。不能充分地利用集群的分布式特性。 2. 最为常见的建表语句 create 'le 阅读全文
posted @ 2021-07-17 13:07
大猿小猿向前冲no1
阅读(118)
评论(0)
推荐(0)
摘要：
WALs中server文件出现重复 -splitting后缀 https://blog.csdn.net/liu16659/article/details/80960323 https://issues.apache.org/jira/browse/HBASE-14729%E3%80%91%E3%8 阅读全文
posted @ 2021-07-17 13:05
大猿小猿向前冲no1
阅读(79)
评论(0)
推荐(0)
摘要：
目录导读 1. 引言 随着集群中总的Region数持续增长，每个节点平均管理的Region数已达550左右，某些大表的写入流量一上来，Region Server就会不堪重负，相继挂掉。 在HBase中，Region的一个列族对应一个MemStore，通常一个MemStore的默认大小为128MB（我 阅读全文
posted @ 2021-07-17 13:04
大猿小猿向前冲no1
阅读(1089)
评论(0)
推荐(0)
摘要：
1. 前言 本文为了衔接公众号中的前几篇ZGC相关的文章，继续探索ZGC在HBase集群中真实的GC表现能力，并把其与G1 GC做一个简单的对比，验证ZGC是否真如传言中的那般，令人叹为观止。 在前几篇文章中，我为大家分享了使用JDK15编译HBase（和CDH HBase）的踩坑记录和ZGC在HB 阅读全文
posted @ 2021-07-17 13:03
大猿小猿向前冲no1
阅读(935)
评论(0)
推荐(0)
摘要：
1. 前言 为探索JDK15的ZGC特性在HBase中的表现力是否犹如传言中的那么优秀，我用AdoptOpenJDK15重新编译了社区版本的hbase-1.4.8，接着完成了编译之后，HBase完全分布式的部署和功能上的测试，并把整个编译的流程与解决过的问题一一分享在了之前的文章中。 但是我们线上在 阅读全文
posted @ 2021-07-17 13:02
大猿小猿向前冲no1
阅读(431)
评论(0)
推荐(0)
摘要：
1. 摘要 客户端连接HBase，常用的方式主要有两种，直连Zookeeper和连接HBase Thrift Server。第一种是Java中常用的方式，官方在hbase-client包里提供了丰富的API，另一种是HBase的thrift api，主要在跨语言环境中使用。 我们线上大部分的业务是由 阅读全文
posted @ 2021-07-17 12:53
大猿小猿向前冲no1
阅读(627)
评论(0)
推荐(0)
摘要：
目录导读 1. 引言 对于很多初次接触HBase的伙伴，在使用其客户端API来构建Connection连接对象的时候，有可能会陷入以下几个误区。 类比druid等mysql数据库连接池，自己封装一个Connection对象的资源池，每次使用都从池中取出一个Connection对象； 在多线程的工作环 阅读全文
posted @ 2021-07-17 12:51
大猿小猿向前冲no1
阅读(1588)
评论(0)
推荐(0)
摘要：
HBase 教程 HBase 概述 HBase是Hadoop的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。如果你需要进行实时读写或者随机访问大规模的数据集的时候，请考虑使用HBase！ HBase作为Google Big 阅读全文
posted @ 2021-07-17 12:45
大猿小猿向前冲no1
阅读(388)
评论(0)
推荐(0)
摘要：
HBase服务高可用之路的探索 一、背景 这里的高可用并不是指HBase本身的高可用机制。而是HBase主备双服务的高可用，线上业务依赖于主备HBase集群来提供数据支持，主集群首要的任务时负责数据的读写，备集群只是为了容灾。 对于HBase主备服务高可用方案的调研，团队内部从未停止过探索的步伐。从 阅读全文
posted @ 2021-07-17 12:17
大猿小猿向前冲no1
阅读(248)
评论(0)
推荐(0)
摘要：
hbase-sdk 基于hbase-client的相关API开发而来的一款轻量级的HBase ORM框架。 😋 hbase-sdk分为spring-boot-starter-hbase和hbase-sdk-core两部分。 SpringBoot项目中引入spring-boot-starter-hb 阅读全文
posted @ 2021-07-17 12:09
大猿小猿向前冲no1
阅读(123)
评论(0)
推荐(0)
摘要：
1. 背景 在了解HBCK2之前，建议先了解一下啥是HBCK。HBCK是HBase1.x中的命令，到了HBase2.x中，HBCK命令不适用，且它的写功能（-fix）已删除，它虽然还可以报告HBase2.x集群的状态，但是由于它不了解HBase2.x集群内部的工作原理，因此其评估将不准确。因此，如果 阅读全文
posted @ 2021-07-17 11:46
大猿小猿向前冲no1
阅读(1418)
评论(0)
推荐(0)
浙公网安备 33010602011771号