利用Kafka自带的命令行工具监控消费者的消费进度
Kafka官方提供了命令行工具kafka-consumer-groups.sh,对消费者的消费进度进行监控,在实际生产环境中,对于消费进度的监控只管重要,这直接影响消费者下游系统的消费能力和整个集群的性能。
使用方法如下:
在生产者端生产消息:
[root@zjuserMaster ~]# kafka-console-producer.sh --topic t1 --broker-list zjuserMaster:9092
两个消费者(属于同一组)同时消费:
[root@zjuser02 ~]# kafka-console-consumer.sh -zookeeper zjuserMaster:2181 -topic t1 --consumer.config /opt/module/kafka-2.11/config/consumer.properties
[root@zjuser03 ~]# kafka-console-consumer.sh -zookeeper zjuserMaster:2181 -topic t1 --consumer.config /opt/module/kafka-2.11/config/consumer.properties
在消费者端开启对消费者组的监控:
kafka-consumer-groups.sh --zookeeper localhost:2181 --group group01 --describe
结果显示:
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID
t1 0 133 133 0 group01_zjuser02-1607403827126-2c555c31
t1 1 240 240 0 group01_zjuser03-1607403837428-e721f73e
字段解释:
TOPIC :消费者组订阅的主题
PARTITION:消费的分区号
CURRENT-OFFSET :该消费者组当前最新消费消息的位移值
LOG-END-OFFSET :每个分区当前最新生产的消息的位移值
LAG:生产者生产消息的位移值-消费者消费消息的位移值 (此时,消费者的消费速度正好赶上生产者的生产速度)---> 理想情况
CONSUMER-ID:消费者ID
浙公网安备 33010602011771号