基于Ambari的WebUI部署kafka服务

　　　　　　　　　　　　　　　　基于Ambari的WebUI部署kafka服务

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

 

 

一.基于Ambari的WebUI添加kafka服务

1>.点击"Add Service"

2>.选择要添加的kafka服务

3>.选择kafka部署的节点

4>.自定义kafka的配置信息并点击下一步

5>.如果未配置如下图所示的参数，可能点击下一步时会警告咱们，继续点击"PROCEED ANYWAY"

6>.Review配置信息并点击"DEPLOY"

7>.等待初始化任务

8>.等待kafka broker的安装

9>.kafka broker各节点安装成功，点击"Next"

10>.kafka节点安装完成

11>.查看kafka的管理界面

 

二.开启kafka的JMX功能

1>.进入到kafka 的管理界面，点击"CONFIGS"

2>.配置kafka 的环境变量

3>.启用kafka的JMX配置

#Add by yinzhengjie for  enable kafka JMX
export JMX_PORT=12345

4>.自定义备注信息

5>.如果出现下图的提示，直接忽略即可不影响咱们做实验

6>.配置成功，点击"OK"

7>.重启broker使得配置生效

8>.暴力一点，直接重启(生产环境建议一台一台去启动)

9>.JMX启动成功

 

三.安装kafka manager

1>.解压kafka manager压缩包

[root@hdp101.yinzhengjie.org.cn ~]# ll
total 94460 
-rw-r--r-- 1 root root 96725184 Mar  4 23:52 kafka-manager-2.0.0.2.zip
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# unzip kafka-manager-2.0.0.2
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# ll
total 94500
drwxr-xr-x 8 root root      138 Mar  6 12:31 kafka-manager-2.0.0.2
-rw-r--r-- 1 root root 96725184 Mar  4 23:52 kafka-manager-2.0.0.2.zip
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# ll kafka-manager-2.0.0.2
total 32
drwxr-xr-x 3 root root   18 Mar  6 12:09 application.home_IS_UNDEFINED
drwxr-xr-x 2 root root 4096 Mar  6 11:49 bin
drwxr-xr-x 2 root root  108 Mar  6 12:05 conf
drwxr-xr-x 2 root root 8192 Mar  6 11:49 lib
drwxr-xr-x 2 root root   29 Mar  6 12:09 logs
-rw-r--r-- 1 root root 8686 Apr 12  2019 README.md
-rw-r--r-- 1 root root    5 Mar  6 12:31 RUNNING_PID
drwxr-xr-x 3 root root   17 Mar  6 11:49 share
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# 

2>.自定义kafka manager的环境变量

[root@hdp101.yinzhengjie.org.cn ~]# cat /etc/profile.d/kafka-manager.sh 
export KAFKA_MANAGER_HOME=/root/kafka-manager-2.0.0.2
export PATH=${KAFKA_MANAGER_HOME}/bin:$PATH
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# source /etc/profile.d/kafka-manager.sh 
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# echo $KAFKA_MANAGER_HOME
/root/kafka-manager-2.0.0.2
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# 

3>.修改kafka manager的配置文件

[root@hdp101.yinzhengjie.org.cn ~]# vim $KAFKA_MANAGER_HOME/conf/application.conf 
[root@hdp101.yinzhengjie.org.cn ~]#
[root@hdp101.yinzhengjie.org.cn ~]# grep kafka-manager.zkhosts $KAFKA_MANAGER_HOME/conf/application.conf  | head -1
kafka-manager.zkhosts="hdp101.yinzhengjie.org.cn:2181"
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# grep basicAuthentication.enabled $KAFKA_MANAGER_HOME/conf/application.conf  | head -1
basicAuthentication.enabled=true
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# grep basicAuthentication.password $KAFKA_MANAGER_HOME/conf/application.conf  | head -1
basicAuthentication.password="yinzhengjie"
[root@hdp101.yinzhengjie.org.cn ~]# 

4>.后台启动kafka manager并查看日志

[root@hdp101.yinzhengjie.org.cn ~]# nohup kafka-manager -Dhttp.port=8888 > kafka-manager.log 2>&1 &　　　　　　　　 #生产环境建议后台启动，便于保存日志便于排错。
[root@hdp101.yinzhengjie.org.cn ~]# 
[root@hdp101.yinzhengjie.org.cn ~]# kafka-manager -Dhttp.port=8888 　　　　　　　　　　　　　　　　　　　　　　　　　　　　#测试时可以前台启动

5>.打开浏览器访问(用户名和密码就是咱们在上面的"$KAFKA_MANAGER_HOME/conf/application.conf"中定义好啦)

6>.进入到kafka manager界面，如下图所示

7>.使用kafka manager的webUI配置监控kafka

8>.集群添加成功

9>.查看broker信息

10>.kafka manager使用简介

　　博主推荐阅读:
　　　　https://www.cnblogs.com/yinzhengjie/p/9808121.html