2018年10月22日
Kafka consumer代码研究及核心逻辑分析
摘要： Kafka Consumer API是客户端的接口，封装了消息的接收，心跳的检测，consumer的rebalance等，此分析的代码基于kafka-clients-0.10.0.1 java版本 KafkaConsumer.pollOnce 是轮询的入口，完成一次轮询动作，包括consumer相关 阅读全文
posted @ 2018-10-22 17:37 黎明踏浪号 阅读(2541) 评论(0) 推荐(0)
Kafka consumer消息的拉取及偏移的管理
摘要： 消费者拉取消息并处理主要有4个步骤： 获取消费者所拉取分区的偏移位置OffsetFetchRequest（新的消息是从偏移位置开始的） 创建FetchReqeust，生成Map<Node, FetchRequest>，以消费者所拉取消息的节点为key来分组，所消费的TopicPartition的数据 阅读全文
posted @ 2018-10-22 17:35 黎明踏浪号 阅读(5333) 评论(0) 推荐(0)