随笔分类 -  kafka

摘要:kafka 保证消息不丢失。原因如下有: 1)生产者如果异步发送,会造成消息丢失,发送的过程中kafka会先把消息缓存起来。然后批量发送。 若批量发送之前client宕机会造成消息丢失。生产者不丢失消息需要同步发送 2)kafka服务器默认异步刷盘,先刷到系统页缓存,然后再刷新到日志文件。页缓存的数 阅读全文
posted @ 2018-07-16 22:04 han_shan_chang 阅读(8594) 评论(0) 推荐(0)
摘要:消息的序列化在 Interceptor 之后,分配分区之前执行。 KafkaProducer在调用send方法发送消息至broker的过程中,首先是经过拦截器Inteceptors处理,然后是经过序列化Serializer处理,之后就到了Partitions阶段,即分区分配计算阶段。 Produce 阅读全文
posted @ 2018-07-10 16:28 han_shan_chang 阅读(280) 评论(0) 推荐(0)
摘要:kafka 在 0.10 版本引入和拦截器机制。一共有两种:Kafka Producer端的拦截器和Kafka Consumer端的拦截器。本文讲述的是Kafka Producer端的拦截器,它主要用来在消息发出之前对消息进行拦截或者修改,也可以用于Producer的Callback回调之前进行相应 阅读全文
posted @ 2018-07-10 16:08 han_shan_chang 阅读(151) 评论(0) 推荐(0)