Kafka集群优化篇-调整broker的堆内存(heap)案例实操

                Kafka集群优化篇-调整broker的堆内存(heap)案例实操

                                           作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

 

 

 

 

 

一.查看kafka集群的broker的堆内存使用情况 

1>.使用jstat查看gc的信息([root@kafka116 ~]# jstat -gc 12698 1s 30)

参数说明:S0C:第一个幸存区的大小
  S1C:第二个幸存区的大小
  S0U:第一个幸存区的使用大小
  S1U:第二个幸存区的使用大小
  EC:伊甸园区的大小
  EU:伊甸园区的使用大小
  OC:老年代大小
  OU:老年代使用大小
  MC:方法区大小
  MU:方法区使用大小
  CCSC:压缩类空间大小
  CCSU:压缩类空间使用大小
  YGC:年轻代垃圾回收次数
  YGCT:年轻代垃圾回收消耗时间
  FGC:老年代垃圾回收次数
  FGCT:老年代垃圾回收消耗时间
  GCT:垃圾回收消耗总时间

2>.使用jmap查看kafka当前的堆内存信息([root@kafka116 bin]# jmap -heap 12698)

 

  经过上面两个图的分析,我们要观察伊甸区,幸存区以及年老代总体的使用量,发现他们的使用率都是80%以上呢!而且gc的评论是74万多次,过多的gc会将服务器的性能降低。因此考虑调大Kafka集群的堆内存(heap)是刻不容缓的事情。好,接下来我们如何去调试呢?以及将对内存调大应该注意那些事项呢?

  第一:kafka集群不要集体修改,要一台一台的去调整,由于我有5台broker,它允许我挂掉2台broker;

  第二:修改kafka-server-start.sh启动脚本,建议先改成15G(我的kafka集群的配置相对较低,32G内存,32core,80T硬盘),如果还是不够的话可以考虑继续加大heap内存的配置;

 

二.对kafka进行调优案例实操

1>.查看默认的配置

2>.修改kafka启动脚本的配置文件

 

3>.重启当前broker的Kafka服务

[root@kafka116 bin]# kafka-server-stop.sh                                       #停止当前的kafka进程
[root@kafka116 bin]# 
[root@kafka116 bin]# kafka-server-start.sh -daemon /soft/kafka/config/server.properties          #启动当前的kafka进程
[root@kafka116 bin]# 
[root@kafka116 bin]# 
[root@kafka116 bin]# jps                                                  #查看kafka进程是否启动
5460 Kafka
4246 ProdServerStart
23014 Jps
[root@kafka116 bin]# 

4>.查看调优后的内存

5>.查看调整后的JVM使用情况

 

posted @ 2018-10-31 17:37  尹正杰  阅读(14031)  评论(4编辑  收藏  举报