EFAK分布式安装记录

1.下载EFAK,解压到指定目录。

2.在/etc/profile文件中添加配置:

export KE_HOME=/usr/local/kafka-eagle
export PATH=$KE_HOME/bin:$PATH

3.在kafka每个节点的kafka-server-start.sh文件中的上部添加jmx port:

export JMX_PORT=9999

官方推荐9999端口,我设置的端口为9200,设置好后,efak会自动找到该端口(我本来添加9999端口,但启动报错,说9999被占,所以改用9200端口)。

4.进入conf文件夹,修改配置文件为:

efak.zk.cluster.alias=cluster1 #Kafka使用的Zookeeper集群别名,多个集群用逗号分隔。
cluster1.zk.list=x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181 #zookeeper.connect地址
cluster1.efak.offset.storage=kafka #存储消费信息的类型,一般在0.9版本之前,消费信息会默认存储在Zookeeper中,在0.10版本之后,消费者信息默认存储在 Kafka中,存储类型需要设置为kafka。
efak.metrics.retain=15 #性能监控数据保存天数
efak.driver=com.mysql.cj.jdbc.Driver #链接mysql8.0驱动,低版本数据库需修改
efak.username= #mysql数据库用户名
efak.password= #mysql数据库密码

注意:必须为每一个节点的efak设置好本地的数据库(本地数据库必须要存在,目前还不清楚是否能共用mysql)或者db文件路径,否则UI会出现显示异常。

5.修改work文件,注意只填写datanode的IP,不能填写master的IP.

6.使用命令:ke.sh cluster start/stop/restart/status几个命令进行各种操作。

补充:kafka开启jmx步骤:

参考:kafka efak监控工具 - 苍山落暮 - 博客园 (cnblogs.com)

1.在kafka的bin文件夹中,编辑:kafak-server-start.sh文件,其中添加jmx端口(或者按步骤2也行):

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT="9200"
fi

然后,打开zookeeper的bin文件夹下的zkServer.sh文件,将其中的ZOOMAIN判断条件后重写ZOOMAIN:

ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"

 

保存后,将zookeeper的zkServer.sh文件和kafka的kafak-server-start.sh文件通过scp *** root@****:/usr/local/***到其他节点。然后重写启动zookeeper和kafka,并重写启动efak,展示一切正常。

注意:

1.每个节点都要有数据库(如果配置数据库),也可以共用一个数据库(已和作者确认)。

2.work只填写datanode节点,不要写master节点,否则页面会出现2个master,其中一个显示datanode,一个显示master,而去掉后一切正常。

posted @ 2022-06-03 09:06  Shapley  阅读(582)  评论(0)    收藏  举报