四、kafka集群的安装配置

4.1准备
–kafka集群的安装配置是依赖zookeeper的，搭建kafka集群之前，首先请创建好一个可用zookeeper集群
–安装openjdk运行环境
–分发kafka拷贝到所有集群主机
–修改配置文件
–启动不验证
4.2server.properties
–broker.id
–每台服务器的broker.id都不能相同
–zookeeper.connect
–zookeeper集群地址，不用都列出，写一部分即可
–在所有主机启动服务
./bin/kafka-server-start.sh-daemonconfig/server.properties
–验证
–jps命令应该能看到kafka模块
–netstat应该能看到9092在监听
4.3 安装步骤
[root@node1 ~]# tar xf kafka_2.10-0.10.2.1.tgz
[root@node1 ~]# mv kafka_2.10-0.10.2.1 /usr/local/kafka
4.4 修改配置文件
[root@node1 ~]# cd /usr/local/kafka/config/
[root@node1 config]# vim server.properties
21 roker.id=11 #数字可以随便写，但每个节点应不一样
119 zookeeper.connect=node1:2181,node2:2181,node3:2181 #zookeeper节点可以写多个
[root@node1 config]# for i in node{2..3};ssh $i ar xf kafka_2.10-0.10.2.1.tgz ; mv kafka_2.10-0.10.2.1 /usr/local/kafka ;done
[root@node1 config]# scp server.properties node2:/usr/local/kafka/config/
root@node2's password:
server.properties 100% 5649 2.8MB/s 00:00
[root@node1 config]# scp server.properties node3:/usr/local/kafka/config/
root@node3's password:
server.properties
[root@node2 ~]# vim /usr/local/kafka/config/server.properties
roker.id=12
[root@node3 ~]# vim /usr/local/kafka/config/server.properties
roker.id=13
注：因为server.properties 文件时node1中拷贝过来的，对 zookeeper.connect值已经设置，如果没有设置记得设置
4.4 在所有主机上启动服务
[root@node1 kafka]# ./bin/kafka-server-start.sh -daemon config/server.properties
[root@node2 kafka]# ./bin/kafka-server-start.sh -daemon config/server.properties
[root@node3 kafka]# ./bin/kafka-server-start.sh -daemon config/server.properties
4.5 验证
–jps命令应该能看到kafka模块
[root@node1 kafka]# jps
2048 NodeManager
1938 DataNode
3269 QuorumPeerMain
3851 Jps
3791 Kafka
–netstat应该能看到9092在监听
[root@node1 kafka]# netstat -ntulp | grep :9092
tcp6 0 0 :::9092 :::* LISTEN 3791/java
4.6 集群验证与消息发布

•集群验证不消息发布
–创建一个topic
[root@node1 kafka]# ./bin/kafka-topics.sh --create --partitions 2 --replication-factor 2 --zookeeper node3:2181 --topic mymsg
Created topic "mymsg".
–生产者
[root@node1 kafka]# ./bin/kafka-console-producer.sh --broker-list master:9092,node1:9092 --topic mymsg

[2021-09-10 10:51:05,235] WARN Removing server master:9092 from bootstrap.servers as DNS resolution failed for master (org.apache.kafka.clients.ClientUtils)

trgf
sdf
dsf
sdf
sdf
454

–消费者
[root@node2 kafka]# ./bin/kafka-console-consumer.sh --bootstrap-server node2:9092,node3:9092 --topic mymsg

trgf
sdf
dsf
sdf
sdf
454

注：如果生产者发出的消息，消费者能够读取就搭建成功（如上）

4.7 kafka服务的停止

[root@node2 kafka]# /usr/local/kafka/bin/kafka-server-stop.sh