Chaos2018

kafka遇到的bug(待解决)

kafka遇到的bug(待解决)

1.场景

有个项目版本v1,kafka版本较老,对项目进行了升级,开发出项目版本v2。项目使用kafka多线程消费,v1使用的消费者组为A.为了验证升级后的代码的正确性,新开了两个消费者组B、C,A、B、C三个消费者组消费同一个topic,消费者组B创建了有半个多月了,C今天创建的。在验证过程中遇到了一下问题:

2.问题

1)消费者组报错不存在

Consumer group "C" does not exist.

这个报错查到的资料都说是没有进行消费,但是我十分确定消费者组C消费过N次了,查看消费情况都会提示不存在。

2)消费者组报错没有活跃成员。

Consumer group 'B' has no active members

网上资料也是说没有进行消费,我也确认过消费很久了。

3) 实际有消费,offset无变动的问题。

这里面包含好几个问题:

第一个是无论我用latest还是earliest消费,在实际有消费数据的前提下,我用命令行 ./kafka-consumer-groups.sh --new -consumer --bootstrap-server kafka1:9092 --describe --group B 查看偏移量的时候,偏移量不会改变。

第二个问题是我停掉项目,offset改为earliest再启动,在不发送消费数据的前提下,项目自动消费以前的数据,大多是重复消费。 用命令行查看偏移量的时候,偏移量不会改变。

第三个问题是我停掉项目,offset改为latest在启动,如果不发送消费数据,项目无异常,但是如果我发送消费数据,确认数据已经发送完,但是没有被消费完,(举个栗子,我发送了500条数据,确认已经发送完,确认只消费了200条,还有300条没有消费),此时我停止项目,再启动,正常情况应该是继续消费那300条数据,但是真实情况是300条再也没有被消费,offset 显示有两条未消费(正常应该显示300条),数据就这样丢失了。

以上问题尚未找到问题所在。

posted on 2022-04-13 11:19  Chaos2018  阅读(1185)  评论(0编辑  收藏  举报

导航