利用Kafka自带的命令行工具监控消费者的消费进度

   Kafka官方提供了命令行工具kafka-consumer-groups.sh,对消费者的消费进度进行监控,在实际生产环境中,对于消费进度的监控只管重要,这直接影响消费者下游系统的消费能力和整个集群的性能。 

使用方法如下:

  在生产者端生产消息:

        [root@zjuserMaster ~]# kafka-console-producer.sh --topic t1 --broker-list zjuserMaster:9092

       两个消费者(属于同一组)同时消费:

        [root@zjuser02 ~]# kafka-console-consumer.sh -zookeeper zjuserMaster:2181 -topic t1 --consumer.config /opt/module/kafka-2.11/config/consumer.properties

        [root@zjuser03 ~]# kafka-console-consumer.sh -zookeeper zjuserMaster:2181 -topic t1 --consumer.config /opt/module/kafka-2.11/config/consumer.properties

      在消费者端开启对消费者组的监控:       

        kafka-consumer-groups.sh --zookeeper localhost:2181 --group group01 --describe

结果显示:

TOPIC           PARTITION             CURRENT-OFFSET            LOG-END-OFFSET                        LAG                                                CONSUMER-ID 

t1                     0                                            133                                     133                                      0                                 group01_zjuser02-1607403827126-2c555c31
t1                     1                                            240                                      240                                     0                                  group01_zjuser03-1607403837428-e721f73e

字段解释:

TOPIC  :消费者组订阅的主题

PARTITION:消费的分区号

CURRENT-OFFSET :该消费者组当前最新消费消息的位移值

LOG-END-OFFSET :每个分区当前最新生产的消息的位移值   

LAG:生产者生产消息的位移值-消费者消费消息的位移值 (此时,消费者的消费速度正好赶上生产者的生产速度)---> 理想情况

CONSUMER-ID:消费者ID 

 

posted on 2020-12-08 13:58  有梦不难zj  阅读(1104)  评论(0)    收藏  举报

导航