摘要：1、消费者与Partition 以下来自《kafak权威指南》第4章。 假设主题T1有四个分区。 1.1、一个消费者组 1.1.1、消费者数量小于分区数量 只有一个消费者时，消费者1将收到4个分区的全部消息。 当有两个消费者时，每个消费者将分别从两个分区接受消息。 1.1.2、消费者数量等于分区数量 阅读全文

摘要：1、Offset Topic Consumer通过提交Offset来记录当前消费的最后位置，以便于消费者发生崩溃或者有新的消费者加入消费者组，而引发的分区再均衡操作，每个消费者可能会分到不同的分区。我测试的kafka版本是：0.11.0.2，消费者往一个特殊的主题“_consumer_offset” 阅读全文

摘要：1、多副本数据同步策略 为了保障Prosucer发送的消息能可靠的发送到指定的Topic，Topic的每个Partition收到消息后，要向Producer发送ACK,如果Produser收到ACK，就会进行下一轮发送，否则重试。 1.1、多副本概述 为了提高消息的可靠性，Kafka每个Topic的 阅读全文

摘要：1、Kafka工作流程 Kafka中的消息以Topic进行分类，生产者与消费者都是面向Topic处理数据。 Topic是逻辑上的概念，而Partition是物理上的概念，每个Partition分为多个Segment,每个Segment对应两个文件，一个索引文件，一个日志文件。Producer生产的数 阅读全文

摘要：1、概述 Kafka是一个分布式的、基于发布订阅的消息系统，主要解决应用解耦、异步消息、流量削峰等问题。 2、发布订阅模型 消息生产者将消息发布到Topic中，同时有多个消息消费者订阅该消息，消费者消费数据之后，并不会清除消息。属于一对多的模式，如图： 3、系统架构 网上找了个不错的架构图： 上图中 阅读全文