姚春辉

2024年12月20日

session.timeout.ms

摘要： session.timeout.ms 是 Kafka 消费者配置中的一个重要参数，它定义了消费者与 Kafka 集群之间的会话超时时间。以下是关于 session.timeout.ms 的详细解释：定义与功能 session.timeout.ms 表示消费者在与 Kafka 集群建立会话后，如果在阅读全文

posted @ 2024-12-20 14:52 姚春辉阅读(500) 评论(0) 推荐(0)

heartbeat.interval.ms

摘要： heartbeat.interval.ms 是 Kafka 中的一个配置参数，它指定了消费者或生产者向 Kafka 集群中的协调者（coordinator）发送心跳请求的间隔时间。以下是关于 heartbeat.interval.ms 的详细解释：定义与功能 heartbeat.interval. 阅读全文

posted @ 2024-12-20 14:51 姚春辉阅读(219) 评论(0) 推荐(0)

max.poll.interval.ms

摘要： max.poll.interval.ms 是 Kafka 消费者配置中的一个关键参数，它定义了消费者在处理完一批消息后，再次调用 poll() 方法以拉取下一批消息的最大时间间隔。以下是关于 max.poll.interval.ms 的详细解释：定义与功能 max.poll.interval.ms 阅读全文

posted @ 2024-12-20 14:33 姚春辉阅读(847) 评论(0) 推荐(0)

2024年12月19日

kafka生产者压缩消息，消费者自动解压缩

摘要：在Kafka中，消费者解压压缩的消息并不只是通过设置compression.type配置属性就可以完成的，但消费者确实不需要在代码中显式进行压缩处理。以下是对这一过程的详细解释：消费者的解压缩配置通常无需配置compression.type：对于消费者而言，通常不需要显式设置compressi 阅读全文

posted @ 2024-12-19 14:54 姚春辉阅读(233) 评论(0) 推荐(0)

kafka发送的消息太大报异常了RecordTooLargeException

摘要：当Kafka发送的消息太大时，确实可能会报异常。Kafka默认的消息大小限制是1MB（即1048576字节），如果生产者尝试发送一个大于此限制的消息，Kafka将会拒绝并抛出异常，通常是RecordTooLargeException message.max.bytes是Kafka中的Broker配置阅读全文

posted @ 2024-12-19 14:51 姚春辉阅读(830) 评论(0) 推荐(0)

2024年12月5日

kafka的至少一次和精确一次

摘要： Kafka的“至少一次”（At Least Once）和“精确一次”（Exactly Once）是两种不同的消息传递语义，它们在确保消息传递的可靠性和准确性方面有不同的特点和实现方式。一、至少一次（At Least Once）定义：“至少一次”传递语义意味着生产者发送到Kafka的消息会至少被传阅读全文

posted @ 2024-12-05 18:14 姚春辉阅读(499) 评论(0) 推荐(0)

Kafka的异步发送到broker

摘要： Kafka的异步发送是Kafka消息传递机制中的另一种重要方式，与同步发送相比，它在保证一定消息可靠性的基础上，提供了更高的发送性能。以下是对Kafka异步发送的详细解释：一、异步发送的定义在异步发送模式下，Kafka生产者发送消息后不会立即等待服务器的确认响应，而是继续发送下一条消息或进行其他阅读全文

posted @ 2024-12-05 16:33 姚春辉阅读(151) 评论(0) 推荐(0)

Kafka的同步发送到broker

摘要： Kafka的同步发送是Kafka消息传递机制中的一种重要方式，它确保了消息在发送过程中的可靠性和一致性。以下是对Kafka同步发送的详细解释：一、同步发送的定义在同步发送模式下，Kafka生产者发送完消息后会阻塞等待Kafka服务器的响应。生产者只有在收到Kafka服务器的响应后，才会进行下一步阅读全文

posted @ 2024-12-05 16:32 姚春辉阅读(167) 评论(0) 推荐(0)

min.insync.replicas

摘要： min.insync.replicas是Apache Kafka中的一个关键配置参数，它定义了ISR（In-Sync Replicas，同步副本）集合中的最少副本数。ISR是Kafka数据复制机制中的一个重要概念，它包含了所有与Leader副本保持同步的副本。以下是关于min.insync.repl 阅读全文

posted @ 2024-12-05 13:58 姚春辉阅读(472) 评论(0) 推荐(0)

unclean.leader.election.enable

摘要： unclean.leader.election.enable是Apache Kafka中的一个关键配置参数，它决定了在ISR（In-Sync Replicas，同步副本）集合为空时，是否允许从非ISR集合中选择副本作为新的Leader。以下是关于unclean.leader.election.ena 阅读全文

posted @ 2024-12-05 13:56 姚春辉阅读(259) 评论(0) 推荐(0)

公告