随笔分类 -  Kafka

kafka 主题管理
摘要：对于 kafka 主题（topic）的管理（增删改查），使用最多的便是kafka自带的脚本。 创建主题 kafka提供了自带的 脚本，用来帮助用户创建主题（topic）。 create 表明我们要创建主题，而 partitions 和 replication factor 分别设置了主题的分区数以及 阅读全文
posted @ 2019-09-17 19:45 gaoyanliang 阅读(4393) 评论(3) 推荐(3)
Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么？
摘要：相信大家已经对 的基本概念已经有一定的了解了，下面直接来分析一下 ISR 和 AR 的概念。 ISR and AR 简单来说，分区中的所有副本统称为 (Assigned Replicas)。所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成 (In Sync Replica 阅读全文
posted @ 2019-09-08 14:48 gaoyanliang 阅读(8029) 评论(1) 推荐(4)
Kafka中的HW、LEO、LSO等分别代表什么？
摘要：`HW LEO ISR`有着紧密的关系，如果不了解 ISR 可以先看下ISR相关的介绍。 （High Watermark）俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个offset之前的消息。 下图表示一个日志文件，这个日志文件中只有9条消息，第一条消息的offset 阅读全文
posted @ 2019-09-08 14:47 gaoyanliang 阅读(12940) 评论(2) 推荐(5)
Kafka问题总结
摘要：kafka问题总结 "kafka如何保证数据可靠性和数据一致性" "Kafka Rebalance机制分析" Kafka的用途有哪些？使用场景如何？ "Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么" "Kafka中的HW、LEO、LSO、LW等分别代表什么?" Kafka中是怎么体现消 阅读全文
posted @ 2019-09-06 17:44 gaoyanliang 阅读(1692) 评论(1) 推荐(2)
kafka如何保证数据可靠性和数据一致性
摘要：数据可靠性 Kafka 作为一个商业级消息中间件，消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。 Producer 往 Broker 发送消息 如果我们要往 Kafka 对应的主题发送消息，我 阅读全文
posted @ 2019-09-06 17:41 gaoyanliang 阅读(9165) 评论(1) 推荐(1)
Kafka Rebalance机制分析
摘要：什么是 Rebalance Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition 阅读全文
posted @ 2019-08-24 17:33 gaoyanliang 阅读(46887) 评论(7) 推荐(12)