Kafka

官网文档

https://kafka.apache.org

https://kafka.apache.org/24/documentation.html#quickstart

kafka停止、启动

停止kafka
ps -ef|grep kafka|grep -v grep|awk -F ' ' '{print $2}' | xargs kill -9

启动kafka集群
启动每个节点：
/bin/kafka-server-start.sh config/server.properties > /dev/null &

kafka主题操作

创建topic
bin/kafka-topics.sh --create --bootstrap-server IP:9092 --replication-factor 1 --partitions 2 --topic testTopic
参数说明：
--topic 名称
--zookeeper zk的服务地址
--replication-factor 每个分区的副本数量。
--partitions 分区的数量。

删除topic
bin/kafka-topics.sh --delete --bootstrap-server IP:9092 --topic testTopic

更新topic
bin/kafka-topics.sh --alter --bootstrap-server IP:9092 --topic testTopic
--config <config-to-modify>=<new-value>

查询topic列表
bin/kafka-topics.sh --list --zookeeper zk1:2181,zk2:2181,zk3:2181
bin/kafka-topics.sh --list --bootstrap-server IP:9092

查询topic描述
bin/kafka-topics.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --describe
bin/kafka-topics.sh --bootstrap-server IP:9092 --describe

使用生产者消费者测试集群主题是否正常
bin/kafka-console-producer.sh --broker-list IP:9092 --topic testTopic
bin/kafka-console-consumer.sh --bootstrap-server IP:9092 --topic testTopic --from-beginning

kafka、zookeeper启动

sh bin/kafka-server-start.sh  -daemon config/server.properties
sh bin/zkServer.sh start

sh kafka-topics.sh --create --bootstrap-server IP:9092 --replication-factor 1 --partitions 1 --topic testTopic

验证kafka是否部署成功

1、创建一个kafka测试主题
bin/kafka-topics.sh --create --bootstrap-server IP:9092 --replication-factor 1 --partitions 1 --topic testTopic

2、生产消息
bin/kafka-console-producer.sh --broker-list IP:9092 --topic testTopic

3、消费消息
bin/kafka-console-consumer.sh --bootstrap-server IP:9092 --topic testTopic --from-beginning

4、在生产消息窗口输入信息时，在消费消息窗口可以正常消费生产的信息即表示部署成功

kafka使用的zookeeper-3.5.6版本升级到zookeeper-3.9.3

1、下载zookeeper-3.9.3版本，下载链接：https://downloads.apache.org/zookeeper/zookeeper-3.9.3/apache-zookeeper-3.9.3-bin.tar.gz

2、停止kafka、zookeeper集群服务，可以直接kill掉

3、部署zookeeper-3.9.3集群服务，zk的配置文件内容和之前一致即可conf/zoo.cfg

4、启动zookeeper-3.9.3集群服务
启动命令：在3个节点分别执行：bin/zkServer.sh start
检查集群启动状态命令：bin/zkServer.sh status

5、找到kafka的配置文件config/server.properties中配置项log.dirs，把配置log.dirs的值目录下数据全部删除，3个节点都需要处理下

6、在kafka的目录libs下，删除jar包：zookeeper-3.5.6.jar、zookeeper-jute-3.5.6.jar，
     再把zookeeper-3.9.3版本的对应jar包：zookeeper-3.9.3.jar、zookeeper-jute-3.9.3.jar复制到libs目录下，3个节点都需要处理下

7、启动kafka集群
在每个节点执行命令：bin/kafka-server-start.sh -daemon config/server.properties
查看启动日志是否有报错信息

8、检查集群启动是否正常
执行命令看是否可以正常显示主题列表信息：bin/kafka-topics.sh --list --bootstrap-server IP:9092