随笔分类 - kafka
摘要:kafka 保证消息不丢失。原因如下有: 1)生产者如果异步发送,会造成消息丢失,发送的过程中kafka会先把消息缓存起来。然后批量发送。 若批量发送之前client宕机会造成消息丢失。生产者不丢失消息需要同步发送 2)kafka服务器默认异步刷盘,先刷到系统页缓存,然后再刷新到日志文件。页缓存的数
阅读全文
摘要:消息的序列化在 Interceptor 之后,分配分区之前执行。 KafkaProducer在调用send方法发送消息至broker的过程中,首先是经过拦截器Inteceptors处理,然后是经过序列化Serializer处理,之后就到了Partitions阶段,即分区分配计算阶段。 Produce
阅读全文
摘要:kafka 在 0.10 版本引入和拦截器机制。一共有两种:Kafka Producer端的拦截器和Kafka Consumer端的拦截器。本文讲述的是Kafka Producer端的拦截器,它主要用来在消息发出之前对消息进行拦截或者修改,也可以用于Producer的Callback回调之前进行相应
阅读全文

浙公网安备 33010602011771号