随笔分类 -  kafka相关

kafka rebalance源码分析
摘要：一句话概述： kafka重平衡机制以为了保证一个消费者组中消费环境发生变化后仍能够负载均衡的一种机制。（消费策略的转移）。 重平衡发生的几种情况： 有新的消费者加入Consumer Group。 有消费者宕机下线。消费者并不一定需要真正下线，例如遇到长时间的GC、网络延迟导致消费者长时间未向Grou 阅读全文
posted @ 2022-02-13 15:02 桂花载酒少年游O 阅读(1463) 评论(0) 推荐(0)
kafka监控框架预研
摘要：本文讨论了五种实现方案： jmxtrans+influxdb +grafana jmx_exporter +ps + grafana kafka_exporter + ps + grafana cmak logi_kafkamanager JMXTrans + InfluxDB + Grafana 阅读全文
posted @ 2022-02-07 20:40 桂花载酒少年游O 阅读(1132) 评论(0) 推荐(0)
kafka事务原理与使用
摘要：项目要求使用kafka的事务，遇到了一些问题，研究了下kafka的事务机制记录一下。 kafka事务是为了实现: Exactly Once即正好一次语义 操作的原子性 有状态操作的可恢复性 kafka的幂等性可以实现Exactly Once语义，幂等性提供了单会话单分区的Exactly-Once 语 阅读全文
posted @ 2022-02-06 14:23 桂花载酒少年游O 阅读(2788) 评论(0) 推荐(2)
kafka rebalance测试与日志分析
摘要：本文结合日志打印与源码分析下kafka冲平衡的机制： 几种触发rebalance的场景： 测试环境，版本： kafka 1.1.0，订阅主题test6，三个分区；三个consumer. 最初的分配方案：每一个消费者会消费一个指定的分区。 1.两次poll的时间间隔超过maxpollinterval 阅读全文
posted @ 2021-12-19 21:15 桂花载酒少年游O 阅读(2409) 评论(0) 推荐(0)
kafka isr副本管理机制与exactly once
摘要：一句话概述： isr机制通过为维护一个与leader副本保持“同步状态”的集合，保证数据的一致性，提升了同步性能；ack机制与幂等性保证了数据的exactly once。 引入isr的原因 kafka并未采取Zab和Paxos协议的多数投票机制来来保证主备数据的一致性，而是提出了isr（in-syn 阅读全文
posted @ 2021-11-28 10:48 桂花载酒少年游O 阅读(191) 评论(0) 推荐(0)
kafka broker的网络模型
摘要：生产环境出现了kafka接收到消息后，出现落盘与消费的延时，所以研究下kafka的网络模型，看了一些源码: 源码版本：0.8与1.1.0 图片来源于《kafka源码剖析》 网络层 Socketserver部分 0.8版本： 首先看一下他的startup方法： 在startup的方法中会创建多个pro 阅读全文
posted @ 2021-11-21 18:59 桂花载酒少年游O 阅读(146) 评论(0) 推荐(0)