10 2018 档案

kafka消费组创建和删除原理
摘要：0.10.0.0版本的kafka的消费者和消费组已经不在zk上注册节点了，那么消费组是以什么形式存在的呢？ 1 入口 看下kafka自带的脚本kafka consumer groups.sh，可见脚本调用了kafka.admin.ConsumerGroupCommand 看下Consumer 阅读全文

posted @ 2018-10-09 09:22 吼吼吼的吼 阅读(7600) 评论(0) 推荐(0)

consumer提交offset原理
摘要：1 数据结构 消费者的消费状态是保存在SubscriptionState类中的，而SubscriptionState有个重要的属性那就是assignment保存了消费者消费的partition及其partition的状态 看下TopicPartitionState。TopicPartitionSt 阅读全文

posted @ 2018-10-08 09:05 吼吼吼的吼 阅读(2809) 评论(0) 推荐(0)

producer内存管理分析
摘要：1 概述 kafka producer调用RecordAccumulator append来将消息存到本地内存。消息以TopicPartition为key分组存放，每个TopicPartition对应一个Deque；RcordBatch的消息实际存储在MemoryRecords中；MemoryR 阅读全文

posted @ 2018-10-05 10:29 吼吼吼的吼 阅读(703) 评论(0) 推荐(0)

导航