kafka跳偏移量

介于网上大多命令已经过期,记录一下近期使用kafka的心得,本次是用的单机的ES连接器和单机模式kafka
1.查询消费组
./kafka-consumer-groups --bootstrap-server ip:9092 --list
2.找到组名并查看消费情况
./kafka-consumer-groups --bootstrap-server ip:9092 --group 组名 --describe
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID
主要看 已经消费CURRENT-OFFSET,总数LOG-END-OFFSET,增量LAG ,消费IDCONSUMER-ID
如果发现 CURRENT-OFFSET偏移量一直没有动过,而总量一直在增加,考虑连接器有问题。
一下命令查看连接器状态
查看topic 列表
获取topicname ./kafka-topics --list --zookeeper ip:2181
curl http://ip:8083/connectors/name/status
curl http://ip:8083/connectors/name/

如果数据有问题可以跳一下偏移量试试:
查看偏移量:./kafka-consumer-groups --bootstrap-server ip:9092 --group 组名 --describe
./kafka-consumer-groups --bootstrap-server ip:9092 --group 组名 --reset-offsets --to-offset 目标偏移量 –execute

posted @ 2020-06-19 10:25  niubihahadewo  阅读(608)  评论(0)    收藏  举报