Kafka监控利器
开发过程中，kafka几乎是标配的Mq，如果有一个kafka的监控助手，哪就更完美了，常用的kafka监控工具有 KafkaOffsetMonitor 、Kafka Manager、Capillary、Kafka Eagle，经过测试，最后决定使用Kafka Manager。这篇文章主要介绍Kafka Manager安装及使用。
硬件环境：
- Centos
- kafka-manager-1.3.2.1 为了方便我已经分享到百度网盘，点击下载即可 https://pan.baidu.com/s/1J4B_YnSauUbhtTCHA3y11A
- kafka单机或者集群的运行实例
一、安装
1. 下载及解压
在Centos建个存放Kafka Manager 的文件夹，我的存放目录中在home下，执行如下命令新建文件夹
mkdir /home/kafka-manager
然后转到改目录，把点击下载kafka-manager，下载后把压缩包放到新建的目录下，执行解压命令
unzip kafka-manager-1.3.2.1.zip
可以根据具体环境修改配置文件 ./conf/application.conf，我的配置信息为
# Copyright 2015 Yahoo Inc. Licensed under the Apache License, Version 2.0
# See accompanying LICENSE file.
# This is the main configuration file for the application.
# ~~~~~
# Secret key
# ~~~~~
# The secret key is used to secure cryptographics functions.
# If you deploy your application to several instances be sure to use the same key!
play.crypto.secret="^<csmm5Fx4d=r2HEX8pelM3iBkFVv?k[mc;IZE<_Qoq8EkX_/7@Zt6dP05Pzea3U"
play.crypto.secret=${?APPLICATION_SECRET}
# The application languages
# ~~~~~
play.i18n.langs=["en"]
play.http.requestHandler = "play.http.DefaultHttpRequestHandler"
play.http.context = "/"
play.application.loader=loader.KafkaManagerLoader
kafka-manager.zkhosts="localhost:2181"
kafka-manager.zkhosts=${?ZK_HOSTS}
pinned-dispatcher.type="PinnedDispatcher"
pinned-dispatcher.executor="thread-pool-executor"
application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]
akka {
loggers = ["akka.event.slf4j.Slf4jLogger"]
loglevel = "INFO"
}
basicAuthentication.enabled=false
basicAuthentication.username="admin"
basicAuthentication.password="password"
basicAuthentication.realm="Kafka-Manager"
kafka-manager.consumer.properties.file=${?CONSUMER_PROPERTIES_FILE}
一般为默认即可，一切就绪就可以执行如下命令启动，
2. 启动
nohup ./bin/kafka-manager -Dconfig.file=./conf/application.conf -Dhttp.port=9111 >kafka-manager.log 2>&1 &
确认下是否启用，执行如下命令
netstat -an |grep 9111
结果显示，显示 9111 端口在监听状态，说明我们的服务已经启动。
在浏览器中查看，输入你的主机名或者ip+端口即可，显示如下，即说明kafka-manager成功安装
二、使用
- 添加kafka
点击Cluster，选择添加 Add Cluster 选择，根据kafka实例填写即可，主要配置ZK，其它信息，根据业务需要改动。
我的配置信息如下：
2. 查看信息
1) 集群信息
主要显示版本信息、Topics、Brokers，点击Topics数量或者Brokers数量即可进入相应的详情列表
2) Brokers
主要显示Topic的操作及列表，及每个topic的主要信息，点击具体的topic，即可查看详情
3) Topics
显示某个topic的具体信息，非常的详细
4) Consumers
a) 首先我们启动一个消费者，集群中的任何一个实例即可，执行如下命令
./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic **********
**********为消费的Topic。
b) 消费启动后，点击Consumers，显示如下
点击消费者，即可查看该消费者的详细信息
主要涉及Partition、Logsize、Consumer Offset
关于kafka-manager就介绍到这里，如果你有更好的监控工具，也拿出来一块分享吧
