kafka的结构如下:

 

 

 

一、生产者

   1、生产者(Producer)使用send方法 发送消息是异步的,所以可以通过get方法或回调函数拿到调用的结果。如果失败了,可以重试。

   重试次数可以稍微大些,比如5次。间隔可以稍微长些。

 

二、消费者:

   基础概念:当消息被追加到分区(partition)时,会为其分配一个偏移量(offset)。这个偏移量可以记录consumer消费到这个patition的哪个位置。

       所以:kafka是通过偏移量(offset)来保证消息在某个分区的顺序的。

  1、解决消费端丢失数据:关闭自动提交offset,等消费者处理完成后再手动提交offset。

  2、kafka的partition有多副本机制,其中一个为leader,别的称之为follower。消息到了之后先存在leader,follower副本再去leader拉取同步,这样生产者和消费者都只和leader交互,follower副本是leader副本的备份,保证数据存储的安全性。

   除此之外如果leader所在的broker挂了,那么会在follower之间选一个leader。  

 

 

posted on 2021-12-07 17:09  天马行空的秋意  阅读(1874)  评论(0编辑  收藏  举报