kafka集群安装部署

1:kafka集群需要依赖zookeeper集群，所以先准备好zookeeper集群，zookeeper集群安装部署可以参考之前的文档

2:准备kafka服务器，我这里选用hadoop2、hadoop3、hadoop4这三台服务器,并准备好kafka压缩包

3:解压kafka压缩包到指定目录，修改文件名称

　　tar -zxvf kafka_2.12-2.3.0.tgz -C /opt/module/

　　mv kafka_2.12-2.3.0/ kafka

4:在kafka文件夹下面创建log文件夹用来存放消息

　　mkdir log

5:编辑kafka配置文件,目录在kafka/config下面，主要配置server.properties

　　这里主要选择这么几个重要的参数配置，测试使用，不需要做优化，其他的参数使用默认配置就行

# broker的id，必须唯一
broker.id=0

# 运行日志存放的目录
log.dirs=/opt/module/kafka/log

# zookeeper集群地址
zookeeper.connect=hadoop2:2181,hadoop3:2181,hadoop4:2181

6:将kafka整个文件copy到hadoop3和hadoop4上面，配置修改相同，但是记住broker.id需要修改，我这里将hadoop3上broker.id设置为1，hadoop4上的broker.id设置为2

7:启动kafka集群

　　进入bin目录下 执行 ./kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

　　-daemon表示后台启动

8:在hadoop2启动一个生产者，topic名称为test

　　./kafka-console-producer.sh --broker-list hadoop2:9092 --topic test

9:在hadoop3启动一个消费者

　　./kafka-console-consumer.sh --bootstrap-server hadoop2:9092 --topic test　　

 

 正常发送和接收消息