（ 四 ）、Kafka 常用命令

（ 四 ）、Kafka 常用命令

 

 

 

说明：该命令针对目前最新的 kafka_2.13-3.0.0 ，其他版本可能有所差别

 

1、 后台启动

# 启动 zk
> bin/zookeeper-server-start.sh -daemon config/zookeeper.properties   
# 启动kafka
> bin/kafka-server-start.sh -daemon config/server.properties 

 

2、create: 创建一个 topic

  > bin/kafka-topics.sh \
--bootstrap-server broker_host:port \
--create \
--topic my_topic_name  \
--partitions 20 \
--replication-factor 3 \
--config x=y

参数 key 描述：

• –create 创建 topic
• –bootstrap-server  本机IP：port
• –partitions 分区数
• –replication-foactor 副本数 (最大不能超过 broker 数)
• –topic topic 名
• -config: 主题配置（可选）

 

3、list: 查看 topic 列表

bin/kafka-topics.sh --bootstrap-server 192.168.248.130:9092  --list

 

4、describe: 查看 topic 描述信息

bin/kafka-topics.sh --bootstrap-server 192.168.248.130:9092 \
--describe \
--topic test 

 

5、发送消息

bin/kafka-console-producer.sh
--broker-list $host:9092
--topic test

参数 key 描述：

• –broker-list kafka 的 broker 访问地址端口
• –topic topic 名

 

6、消费消息

bin/kafka-console-consumer.sh
--bootstrap-server $host:9092
--topic test
--from-beginning

参数 key 描述：

• –bootstrap-server kafka 的 broker 访问地址端口
• –topic topic 名
• from-beginning 从头开始消费

 

7、删除 topic

 > bin/kafka-topics.sh --bootstrap-server broker_host:port --delete --topic my_topic_name

 

8、查看 producer 生产消息的最大位置

bin/kafka-run-class.sh kafka.tools.GetOffsetShell
--broker-list $host:9092
--topic $test
--time -1

 

9、查看消费的 offset

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
--broker-list $host:9092
--topic $topic
--group $group

参数 key 描述：

• –bootstrap-server kafka 的 broker 访问地址端口
• –topic topic 名
• –group 消费者组

 

10、重置消费 offset

bin/kafka-consumer-groups.sh
--bootstrap-server $host:9092
--topic $topic
--group $group
--execute
--reset-offsets
--to-offset 0

参数 key 描述：

• –bootstrap-server kafka 的 broker 访问地址端口
• –topic topic 名
• –to-offset 要重置的 offset 位置

 

11、重置所有topic的 offset

bin/kafka-consumer-groups.sh --bootstrap-server 10.111.30.4:9092,10.111.30.8:9092
 --group myTestTopic --reset-offsets --all-topics --to-latest --execute

 

13、查看分组所属topic的消费情况

bin/kafka-consumer-groups.sh --bootstrap-server=10.2.48.31:9092,10.2.32.26:9092 --group=testPlatform --describe

 

14、topic增加分区（#分区数增加到12个）

bin/kafka-topics.sh --alter --bootstrap-server=192.168.248.130:9092 --topic my-topic --partitions 12

 

15、修改主题级别的参数

 > bin/kafka-configs.sh --bootstrap-server broker_host:port --entity-type topics --entity-name my_topic_name --alter --add-config x=y

 

 16、删除配置

  > bin/kafka-configs.sh --bootstrap-server broker_host:port --entity-type topics --entity-name my_topic_name --alter --delete-config x