随笔分类 - Kafka
摘要:对于 kafka 主题(topic)的管理(增删改查),使用最多的便是kafka自带的脚本。 创建主题 kafka提供了自带的 脚本,用来帮助用户创建主题(topic)。 create 表明我们要创建主题,而 partitions 和 replication factor 分别设置了主题的分区数以及
阅读全文
摘要:相信大家已经对 的基本概念已经有一定的了解了,下面直接来分析一下 ISR 和 AR 的概念。 ISR and AR 简单来说,分区中的所有副本统称为 (Assigned Replicas)。所有与leader副本保持一定程度同步的副本(包括leader副本在内)组成 (In Sync Replica
阅读全文
摘要:`HW LEO ISR`有着紧密的关系,如果不了解 ISR 可以先看下ISR相关的介绍。 (High Watermark)俗称高水位,它标识了一个特定的消息偏移量(offset),消费者只能拉取到这个offset之前的消息。 下图表示一个日志文件,这个日志文件中只有9条消息,第一条消息的offset
阅读全文
摘要:kafka问题总结 "kafka如何保证数据可靠性和数据一致性" "Kafka Rebalance机制分析" Kafka的用途有哪些?使用场景如何? "Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么" "Kafka中的HW、LEO、LSO、LW等分别代表什么?" Kafka中是怎么体现消
阅读全文
摘要:数据可靠性 Kafka 作为一个商业级消息中间件,消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。 Producer 往 Broker 发送消息 如果我们要往 Kafka 对应的主题发送消息,我
阅读全文
摘要:什么是 Rebalance Rebalance 本质上是一种协议,规定了一个 Consumer Group 下的所有 consumer 如何达成一致,来分配订阅 Topic 的每个分区。 例如:某 Group 下有 20 个 consumer 实例,它订阅了一个具有 100 个 partition
阅读全文