随笔分类 -  kafka

摘要:0. 目录 [TOC] 1. 消费者和消费者组 每一个分区只能被一个消费组中的一个消费者所消费。 在消费组中增加消费者可以增加整体的消费能力,消费者不能多于分区个数。 消息中间件2中模式:点对点的队列模式、订阅/发布模式 点对点:所有消费者属于1个消费组 订阅/发布:各个消费者属于不同的消费组 通过 阅读全文
posted @ 2019-07-25 07:04 suyesean 阅读(239) 评论(0) 推荐(0)
摘要:0. 目录 [TOC] 1. 生产消息步骤 配置生产者客户端参数,创建生产者实例 构建待发送的消息 发送消息 关闭生产者 2. ProducerRecord的属性 key用来计算分区号,确定发送到指定分区 3. 必要的参数 bootstrap.servers:指定kafka集群的broker的地址, 阅读全文
posted @ 2019-07-25 07:02 suyesean 阅读(177) 评论(0) 推荐(0)
摘要:1. 基本名词 Producer Consumer Broker 服务器 集群 主题和分区 主题是逻辑上的概念,分区是可以追加的日志文件。 offset是每个分区文件的偏移量,offset不跨越分区 保证分区内消息有序。 分区解决了写文件,单个机器IO成为瓶颈的问题。 多副本机制 副本是为了提升容灾 阅读全文
posted @ 2019-07-25 07:00 suyesean 阅读(99) 评论(0) 推荐(0)