kafka运维

3.4.0之前版本

查看kafka topic列表

#进入kafka pod需要先执行unset JMX_PORT
 ./kafka-topics.sh --zookeeper gitee-zookeeper:2181 --list

查看topic详情

kafka-topics.sh --zookeeper gitee-zookeeper:2181  --topic ONE_COMPANY_CREATE --describe
Topic: ONE_COMPANY_CREATE	PartitionCount: 1	ReplicationFactor: 1	Configs:
Topic: ONE_COMPANY_CREATE	Partition: 0	Leader: 0	Replicas: 0	Isr: 0

查看topic 消息

kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --from-beginning --topic one_sync_proxima

删除topic

 kafka-topics.sh --delete --zookeeper gitee-zookeeper:2181  --topic api-cost-topic

列出kafka消费者组

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list

3.4.0之后版本

查看kafka topic列表

#进入kafka pod需要先执行unset JMX_PORT
kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list

查看topic详情

kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --topic ONE_COMPANY_CREATE --describe
Topic: ONE_COMPANY_CREATE	PartitionCount: 1	ReplicationFactor: 1	Configs:
Topic: ONE_COMPANY_CREATE	Partition: 0	Leader: 0	Replicas: 0	Isr: 0

计算消息的消息堆积情况

kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group  SCAN_TASK_POINT_TOPIC

查看消费者组的消费情况

kubectl exec -it gitee-kafka-0 -n gitee bash
unset JMX_PORT

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
0
notification

kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group notification

可以看到当前的消费进度（CURRENT-OFFSET）、消息进度（LOG-END-OFFSET）、落后量（LAG）: