摘要: 1. Kafka 体系及术语 Kafka 是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有的还把它当做存储系统来使用。早期 Kafka 的定位是一个高吞吐的分布式消息系统,目前则演变成了一个成熟的分布式消息引擎,以及流处理平台。 1.1 Kafka 体系架构 Kafka 的 阅读全文
posted @ 2021-09-25 21:09 碳酸H2CO3 阅读(1114) 评论(0) 推荐(0)
摘要: 一、Kafka概述 Kafka是一个分布式消息引擎与流处理平台,基本架构如下: Kafka的设计遵循生产者消费者模式,其中生产者和消费者都属于客户端,服务端则是由多个broker实例组成,broker主要负责接收和处理来自客户端的请求,以及对消息进行持久化。 二、broker端核心参数 1. bro 阅读全文
posted @ 2021-09-25 20:52 碳酸H2CO3 阅读(210) 评论(0) 推荐(0)
摘要: 生产端核心参数 1. acks 参数说明:这是一个非常重要的参数,表示指定分区中成功写入消息的副本数量,这是Kafka生产端消息的持久性(durability)保证。只有当leader确认已成功写入消息的副本数后,才会给Producer发送响应,此时消息才可以认为“已提交”。该参数影响着消息的可靠性 阅读全文
posted @ 2021-09-25 20:43 碳酸H2CO3 阅读(261) 评论(0) 推荐(0)