2022年4月14日

初识kafka 之 吞吐量控制

摘要： buffer.memory 缓冲区大小，默认 32M properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554432); batch.size 批次大小，默认16k properties.put(ProducerConfig.BATCH_SIZ 阅读全文

posted @ 2022-04-14 15:58 Simple-Sir 阅读(219) 评论(0) 推荐(0)

初识kafka 之 自定义分区器

摘要： 需求 通过一个分区器实现，发送过来的数据中如果包含kafka，就发往0号分区，不包含kafka，就发往1号分区。 代码实现 分区器 package com.lzh.kafka; import org.apache.kafka.clients.producer.Partitioner; import 阅读全文

posted @ 2022-04-14 15:32 Simple-Sir 阅读(264) 评论(0) 推荐(0)

初识kafka 之 分区策略

摘要： kafka 分区策略 1.指明partition的情况下，直接将指明的值作为partition值； 例如partition=0，所有数据写入分区02.没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值； 例如：key 阅读全文

posted @ 2022-04-14 15:23 Simple-Sir 阅读(813) 评论(0) 推荐(0)

初识kafka 之 本地IDEA发送消息(区分同步、异步，是否带回调函数)

摘要： 基础环境 kafka集群 bigdata01、bigdata02、bigdata03、bigdata04、bigdata05 pom配置 <!-- kafka 客户端依赖--> <dependency> <groupId>org.apache.kafka</groupId> <artifactId> 阅读全文

posted @ 2022-04-14 11:57 Simple-Sir 阅读(714) 评论(0) 推荐(0)

导航