HBase入门笔记--读性能优化

一、前言

        在生产环境使用HBase过程中,随着数据量的不断增加,查询HBase数据变得越来越慢,对于业务来说是不可用的,需要对读性能进行优化

二、问题定位

        从hbase监控指标来看,发现FullGC次数频繁,大家都知道FullGC对系统的影响很大,会使系统资源都耗在GC上,其它性能就会影响,另一个异常是Compact队列一直在阻塞,需要compact的文件过多又不无法及时得到compact,这个就导致小文件越来越多得不到合并影响读性能。

 

三、问题解决

        初步定位到原因之后,考虑从以下几个方面进行优化

       1. 增加regionserver堆栈内存大小,此优化主要考虑到FullGC次数过多,尽量避免Full GC的发生

   2.  观察到集群读缓存率过低,很多时候读的数据都不在缓存中,blockcache得不到利用,所以考虑读写cahce比例调整,减小读增大memstore内存,提高写性能,避免写请求被阻塞

       3. 调整small compact线程数,原来是设置了1 个small compact,为提高compact速率,线程调整为3

       4. 调整表region数,原来是对于所有的表预分配了1000个region,导致一些数据量小的表region数过多,优化后针对表的数据量调整了region的数量

       5. 调整region hfile数量 ,  针对region hfile文件数过多的表,进行手动major_compact, 以提高读性能

       6. 隔离表, 此步主要考虑到compact队列阻塞严重,所以考虑将一些表用几台新机器进行隔离, 最本质的其实还是降低单region的hfile数量,降低之后在定位到数据在哪个region之后,可以大幅减少扫描hfile的次数,具体方法如下,

      

a 确认要隔离的表

b 确认隔离的机器列表

c  创建group

add_rsgroups 'test_tables'


d 将机器列表move到新建组别
move_rsgroup_servers 'test_tables',['1.1.1.1:60020','1.1.1.2:60020','1.1.1.3:60020']

c 查看上面操作是否成功
 get_rsgrup 'test_tables'

d 将需要隔离的表move到group

move_rsgroup_tables 'test_tables',['table1','table2']

    进行隔离后,发现compact阻塞严重的表已经下降了,最直观的表现是读性能从原来的10几秒优化到200ms以内,读性能得到质的变化,最主要的优化是降低了每个region的hfile数量,提高了定位数据区间的效率

 

 

       

posted @ 2017-02-06 10:05 ballwql 阅读(...) 评论(...) 编辑 收藏