小记--------安装部署滴滴开源kafka-manager工具

GitHub地址：https://github.com/didi/LogiKM

 

1. 下载安装包

https://github.com/didi/LogiKM/releases

 

2. 解压安装包

tar -zxvf kafka-manager-2.4.2.tar.gz 

3. 创建数据库

打开解压好的包可以看到 create_mysql_table.sql

这个是kafka-manager是通过mysql数据库做元数据管理的， 所以首先我们要准备好mysql， 

然后再mysql中运行这个文件

运行命令： source  create_mysql_table.sql   会生成所有需要的数据库和表

注意： 没有创建用户，需要我们手动创建用户并赋权限

GRANT ALL PRIVILEGES ON 数据库名（查看运行文件后生成的数据库名就OK了）.* TO ‘用户名'@'%' IDENTIFIED BY '用户密码’;

 

4. 配置文件

 

 启动命令

nohup java -jar kafka-manager.jar --spring.config.location=./application.yml > /dev/null 2>&1 &nohup java -jar kafka-manager.jar --spring.config.location=./application.yml > /dev/null 2>&1 &

　　

 

这就OK了。。。

 

访问kafka-manager安装机器:web端口

 

http://master:port/  

默认密码： admin:admin

 

 

5. 配置集群

 

创建完成后点击名称进入该物理集群，正常情况下这样应该就可以了，但是滴滴的这款开源管理工具是可以接入多个集群进行管理的，  所以它是有root用户和其他普通用户的，然而普通用户是看不到物理集群的，

因为滴滴引入了region的概念（应用于集群规模较大的集群，比如有1000台服务器，可以使用region的概念将500台机器放入一个region，另外500台机器放入另一个region，这样管理起来比较方便）

逻辑集群，普通用户只能看到逻辑集群 ，因此我们还需要创建region 和逻辑集群。

 

新增region，视情况而定配置几个region

 

 

新增逻辑集群

 

 

新增region

 

其中broker列表 brokerID查看

 

 

此时就可以再集群管理中 看到集群信息了， 然后进入topic管理中也可以看到topic 全部了

进入topic管理中， 选择一个topic  查看其基本信息中会有实时监控流量，但是因为我们Kafka集群没有配置JMX 所以显示看不到

 

配置Kafka 的JMX监控

需要再kafka每台机器中都进行如下操作

 

1. kafka-server-start.sh

增加JMX_PORT 端口

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    #增加JMX端口配置
    export JMX_PORT=9102
fi

 

 

2. kafka-run-class.sh 

# 增加-Djava.rmi.server.hostname=192.168.1.211 IP为本机IP

全部复制 
# JMX port to use  手动增加的
if [  $JMX_PORT ]; then
  KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"
fi

 

 

 

 

这下彻底OK。