Could not find or load main class kafka.tools.ConsumerOffsetChecker

关于运行kafka-run-class.sh报Could not find or load main class kafka.tools.ConsumerOffsetChecker错误

今天在查询kafka检查消费者位置时运行

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic test2 --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181

然后报错如下:

Error: Could not find or load main class kafka.tools.ConsumerOffsetChecker

经过检查发现kafka在0.9.0.0版本之后,kafka.tools.ConsumerOffsetChecker已经不支持了。应该使用kafka.admin.ConsumerGroupCommand(或bin/kafka-consumer-groups.sh脚本)来管理消费者组,包括用新消费者API创建的消费者。

//查看所有组
${KAFKA_HOME}/bin/kafka-consumer-groups.sh --bootstrap-server ip:9092 --list 
 
//查看具体组的详细描述信息
${KAFKA_HOME}/bin/kafka-consumer-groups.sh --bootstrap-server 192.168.47.133:9092 --describe --group groupname
 
指定自己的分组 自己消费的topic会显示kafka总共有多少数据,以及已经被消费了多少条
结果:
 
GROUP     TOPIC     PID         OFFSET           LOGSIZE        LAG
消费者组  话题id    分区id    当前已消费的条数         总条数    未消费的条数
 
注意:以kafkaspout类作为消费者去读kafka数据,相当于直接从kafka server上取文件,没有消费者组的概念
每次读的数据存在自己zk的offet中,所以不能通过上述命令查看

 

posted @ 2022-01-14 14:35  John_2011  阅读(841)  评论(0)    收藏  举报