【kafka】关于kafka的重平衡问题

kafka 突然不消费了，其中一个可能就是，kafka集群的这个消费组正在重平衡

问：Kafka集群什么情况下会出现重平衡？
答：（1）消费者成员变动（加入、离开、被踢）
（2）订阅主题元数据变动（分区数增加）

问：kafka集群，一共有10个topic， 其中有一个topic 有严重的积压，会不会因为这个topic积压，而导致整个group进行重平衡？
答：一个消费组内有某个topic发现严重积压，不会直接引起这个消费组的重平衡，但会间接引起。

问：为什么严重积压，会间接引起消费组的重平衡？
答：严重积压，是消费速度慢于生产速度，
（1）消费超时导致消费者被踢出组： 消费速度慢，就会可能引发“消费超时”， 这个消费超时时间对应配置： max.poll.interval.ms

max.poll.interval.ms 是指kafka消费线程两次poll() 之间的最大超时时间，如果第二次poll 与第一次pull 之前的时间超过 max.poll.intervals.ms ， 那这个消费线程（消费者）可能就会被认为“挂掉”了，因为它无法在这个规定的时间内完成消息的处理。

这个消费者被认定为无法正常消费了，就会被剔除出消费组（即发生 “消费者成员变动）。

那这就满足了重平衡的条件了。

所以说，严重积压，会“间接”引起消费组的重平衡。

（2）长时间 GC 或系统资源耗尽导致心跳超时
原理一样，长时间GC，系统资源耗尽，消费者可能无法在 session.timeout.ms 参数规定的时间内向协调器发送心跳，那协调器就会认为这个消费者挂掉了。就把这个消费者剔除出去后，触发重平衡。

（3）消费者进程崩溃
极端情况下，处理积压的压力可能导致消费者应用程序因资源不足（如 OOM）而崩溃。这直接等同于消费者离开组，自然会触发重平衡。

总结与建议

场景	是否导致重平衡	原因
Topic 单纯积压	否	所有消费者状态健康，与协调器心跳正常
因积压导致消费超时	是	消费者在 max.poll.interval.ms 内未发起 poll()，被协调器踢出
因积压导致心跳超时	是	消费者在 session.timeout.ms 内未发送心跳，被协调器踢出
因积压导致进程崩溃	是	消费者实例直接消失

问：一个消费者组下面有多少个消费者？
答：用kafka 自带的指令查询

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-consumer-group --describe

问：消费者组剔除一个消费者后，引发重平衡，消费者是替换一个，还是全部替换掉？
答：

问：kafka集群出现重平衡，会有什么影响
（1）整个群组停止工作：在重平衡期间，所有消费者都会停止消费，直到新的分配方案完成。这会导致消费停滞，影响端到端的延迟。
（2）性能开销：频繁的重平衡会严重拉低整个集群的吞吐量。
（3）重复消费：重平衡会导致分区被分配给新的消费者，新消费者需要一段时间来确定从哪里开始消费，这很可能导致消息被重复处理。