使用kafka需要注意的问题

多分区对应一个消费组的多个pod时

1.消息发送会根据多个分区自动分配一个分组内的多个pod

　　-如果用单分区，则不用考虑多台机器同时消费的问题，能大大简化，但性能不高。

2.多pod同时消费，要考虑数据一致性问题，每个消息最好放入一个业务含义唯一的key

3.消费过程，重复-丢失，这两者是二选一的关系，这个一定要想明白。

4.一般选择可重复，不可丢失，利用唯一key，来防止重复消费时，产生的问题。

5.超时问题——为防止超时消费，自动commit无法触发，导致offset重置，一定要严格控制消费时间，或者放入其他线程，不阻塞。

6.手动commit模式：需要手动处理 数据丢失，数据重复

 

服务宕机后，消息堆积，疯狂消费导致再次崩溃

在充当消费者的服务出现问题宕机时，过段时间重启，会去消费之前大量堆积的消息，

该问题要考虑怎么平缓的处理，否则重启后，又会再次宕机。

问题：

1.有可能导致数据库连接池占满

2.有可能导致调用的其他服务，资源占满

解决方式：

控制消费的速度。