随笔分类 -  kafka

kafka重平衡
摘要：rebalance 的触发条件有三种： 组成员发生变更（新 consumer 加入组、已有 consumer 主动离开组或已有 consumer 崩溃了——这两者的区别后面会谈到）订阅主题数发生变更订阅主题的分区数发生变更 阅读全文
posted @ 2023-06-16 15:08 再见傅里叶 阅读(63) 评论(0) 推荐(0)
kafka消费模式
摘要：消费者消费方式：订阅与分配 1、KafkaConsumer.subscribe()：为consumer自动分配partition，有内部算法保证topic-partition以最优的方式均匀分配给相同group下的不同consumer。 2、KafkaConsumer.assign()：为consu 阅读全文
posted @ 2023-06-15 15:54 再见傅里叶 阅读(442) 评论(0) 推荐(0)
kafka优化
摘要：1、Producer优化 producer.properties compression.type:none默认发送不进行 压缩 ，推荐配置一种适合的压缩算法，可以大幅度的减缓网络压力和Broker 的存储压力。 2、Kafka内存调整（ kafka-server-start.sh 默认内存 1个 阅读全文
posted @ 2021-04-12 16:11 再见傅里叶 阅读(856) 评论(0) 推荐(0)
kafka发送消息流程
摘要：1. 简单流程概述 A. 流程描述 a. producer先从zookeeper的"/brokers/.../state"节点找到该partition的leader b. producer将消息发送给该leader c. leader将消息写入到本地的log d. follower从leader拉取 阅读全文
posted @ 2021-03-11 14:23 再见傅里叶 阅读(1286) 评论(0) 推荐(0)
Kafka的零拷贝技术
摘要：https://www.jianshu.com/p/835ec2d4c170 “零拷贝技术”只用将磁盘文件的数据复制到页面缓存中一次，然后将数据从页面缓存直接发送到网络中（发送给不同的订阅者时，都可以使用同一个页面缓存），避免了重复复制操作。 如果有10个消费者，传统方式下，数据复制次数为4*10= 阅读全文
posted @ 2020-05-09 09:43 再见傅里叶 阅读(518) 评论(0) 推荐(0)
kafka常见面试题
摘要：https://blog.csdn.net/qq_28900249/article/details/90346599 1、为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰 解耦和扩展性 冗余 健壮性 异步通信 2、Kafka的acks参数对消息持久化的影响 往kafka写数据的时候，就可以 阅读全文
posted @ 2020-03-30 08:45 再见傅里叶 阅读(1766) 评论(0) 推荐(0)
Kafka幂等性原理及实现剖析
摘要：https://www.cnblogs.com/smartloli/p/11922639.html 个人总结关键点： 为什么引入幂等性？ Producer在生产发送消息时，难免会重复发送消息。Producer进行retry时会产生重试机制，发生消息重复发送。而引入幂等性后，重复发送只会生成一条有效的 阅读全文
posted @ 2020-03-30 08:36 再见傅里叶 阅读(629) 评论(0) 推荐(0)
如何选择Kafka的分区数和消费者个数
摘要：https://blog.csdn.net/OiteBody/article/details/80595971 阅读全文
posted @ 2020-03-09 15:36 再见傅里叶 阅读(413) 评论(0) 推荐(0)
kafka常用命令
摘要：1、启动命令 /kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 & ./kafka-server-start.sh -daemon ../config/server.properties 2、往topic发送消息 阅读全文
posted @ 2019-11-12 14:45 再见傅里叶 阅读(135) 评论(0) 推荐(0)