随笔分类 -  kafka

Kafka网络模型
摘要：摘要：很多人喜欢把RocketMQ与Kafka做对比，其实这两款消息队列的网络通信层还是比较相似的，本文就为大家简要地介绍下Kafka的NIO网络通信模型，通过对Kafka源码的分析来简述其Reactor的多线程网络通信模型和总体框架结构，同时简要介绍Kafka网络通信层的设计与具体实现。 一、Ka 阅读全文
posted @ 2019-09-26 11:38 鲁仕林 阅读(2112) 评论(0) 推荐(0)
kafka运维填坑
摘要：转载自：https://www.jianshu.com/p/d2cbaae38014 前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处, 阅读全文
posted @ 2019-09-18 20:01 鲁仕林 阅读(1677) 评论(0) 推荐(0)
kafka controller重构
摘要：Kafka Controller 是 Kafka 的核心组件，在前面的文章中，已经详细讲述过 Controller 部分的内容。在过去的几年根据大家在生产环境中应用的反馈，Controller 也积累了一些比较大的问题，而针对这些问题的修复，代码的改动量都是非常大的，无疑是一次重构，因此，社区准备在 阅读全文
posted @ 2019-03-01 21:12 鲁仕林 阅读(1211) 评论(0) 推荐(0)
kafka0.8--0.11各个版本特性预览介绍
摘要：kafka-0.8.2 新特性 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开 阅读全文
posted @ 2018-04-16 16:36 鲁仕林 阅读(230) 评论(0) 推荐(0)
Kafka配额讨论(流量限制)
摘要：Kafka自0.9.0.0版本引入了配额管理(quota management)，旨在broker端对clients发送请求进行限流(throttling)。目前Kafka支持两大类配额管理： 网络带宽（network bandwidth）配额管理：定义带宽阈值来限制请求发送速率，阈值单位是字节/秒 阅读全文
posted @ 2018-04-11 17:47 鲁仕林 阅读(2658) 评论(0) 推荐(0)
kafka leader平衡策略
摘要：1.1个partition的默认leader是replicas中的第一个replica 2.kafka controller会启动一个定时的check线程，kafka默认是5min周期，mafka是30min周期。去check当前的leader信息 3.该线程的工作原理: controller ch 阅读全文
posted @ 2018-04-09 18:21 鲁仕林 阅读(1538) 评论(0) 推荐(0)