摘要：
1、 consumer API kafka 提供了两套 consumer API： 其中 high-level consumer API 提供了一个从 kafka 消费数据的高层抽象，而 SimpleConsumer API 则需要开发人员更多地关注细节。 1.1 The high-level co 阅读全文
posted @ 2018-04-02 15:24
芹溪
阅读(4320)
评论(0)
推荐(0)
摘要：
1 、存储方式 物理上把 topic 分成一个或多个 patition（对应 server.properties 中的 num.partitions=3 配置），每个 patition 物理上对应一个文件夹（该文件夹存储该 patition 的所有消息和索引文件），如下： 图.4 2 、存储策略 无 阅读全文
posted @ 2018-04-02 15:22
芹溪
阅读(682)
评论(0)
推荐(0)
摘要：
1、 写入方式 producer 采用 push 模式将消息发布到 broker，每条消息都被 append 到 patition 中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率）。 2 、消息路由 producer 发送消息到 broker 时，会根据分区算法选择将其 阅读全文
posted @ 2018-04-02 15:20
芹溪
阅读(700)
评论(0)
推荐(0)
摘要：
1、 replication 如图.1所示，同一个 partition 可能会有多个 replica（对应 server.properties 配置中的 default.replication.factor=N）。没有 replica 的情况下，一旦 broker 宕机，其上所有 patition 阅读全文
posted @ 2018-04-02 14:57
芹溪
阅读(609)
评论(0)
推荐(0)
摘要：
1、zookeeper 节点 kafka 在 zookeeper 中的存储结构如下图所示： 阅读全文
posted @ 2018-04-02 14:54
芹溪
阅读(1088)
评论(0)
推荐(0)
浙公网安备 33010602011771号