摘要: 1、数据可靠性保证,数据同步 为保证 producer 发送的数据,能可靠的发送到指定的 topic,topic 的每个 partition 收到 producer 发送的数据后,都需要向 producer 发送 ack(acknowledgement 确认收到),如果 producer 收到 ac 阅读全文
posted @ 2021-09-10 15:59 低调人生 阅读(2888) 评论(0) 推荐(0) 编辑
摘要: 1、kafka的数据存储 文件存储格式: .log 和 .index Kafka 中消息是以 topic 进行分类的, 生产者生产消息,消费者消费消息,都是面向 topic的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 阅读全文
posted @ 2021-09-10 14:51 低调人生 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue) , 主要应用于大数据实时处理领域。 1) Producer : 消息生产者,就是向 kafka broker 发消息的客户端; 2) Consumer : 消息消费者,向 kafka broker 取消息的客 阅读全文
posted @ 2021-09-10 14:32 低调人生 阅读(91) 评论(0) 推荐(0) 编辑