Kafka学习记录 - 环境搭建
Kafka学习记录 - 环境搭建
关键点
1. 所有kafka节点，必须连接到同一个Zookeeper(可以是单机，也可以是Zookeeper集群)
2. kafka节点配置文件中的broker.id必须唯一
3. kafka节点的数量，必须是奇数，比如1，3，5...
一、部署形态
1、单机
单机单实例
2、伪集群
单机多实例
3、集群
多机多实例
二、下载
https://kafka.apache.org/downloads
三、解压
tar -zxvf kafka_2.13-3.3.1.tgz
四、配置
# 编辑配置文件
vim /usr/local/kafka/kafka_2.13-3.3.1/config/server.properties# 修改如下参数 broker.id=0 # brokerid listeners=PLAINTEXT://{本机IP}:9092 log.dirs=/tmp/kafka-logs #日志目录 zookeeper.connect={IP1}:2181,{IP2}:2181,{IP3}:2181
参数说明：
broker.id ： 集群内全局唯一标识，每个节点上需要设置不同的值
listeners：这个IP地址也是与本机相关的，每个节点上设置为自己的IP地址
log.dirs ：存放kafka消息的
zookeeper.connect ： 配置的是zookeeper集群地址
五、启动
./usr/local/kafka/kafka_2.13-3.3.1/bin/kafka-server-start.sh /usr/local/kafka/kafka_2.13-3.3.1/config/server.properties
六、验证测试
1、创建主题、查看主题
[root@VM-32-38-centos bin]# ./kafka-topics.sh --create --bootstrap-server 172.21.32.38:9092 --replication-factor 3 --partitions 1 --topic test Created topic test. [root@VM-32-38-centos bin]# [root@VM-32-38-centos bin]# ./kafka-topics.sh --list --bootstrap-server 172.21.32.38:9092 test [root@VM-32-38-centos bin]#
2、生产消息、消费消息
#生产消息 [root@VM-32-38-centos bin]# ./kafka-console-producer.sh --broker-list 172.21.32.38:9092 --topic test >hello kafka >hello www > #消费消息 [root@VM-32-38-centos bin]# [root@VM-32-38-centos bin]# ./kafka-console-consumer.sh --bootstrap-server 172.21.32.38:9092 --topic test --from-beginning hello kafka hello www
参考资料：
