摘要:Kafka 2.3新功能:限定Broker端入站连接总数 阅读全文
posted @ 2019-07-29 11:36 huxihx 阅读 (40) 评论 (0) 编辑
摘要:这个问题来源于我书中引用的一幅图: 我们从图中明显可以看某性能测试的结果表明普通机械磁盘的顺序I/O性能指标是53.2M values/s,SSD的顺序I/O性能指标是42.2M values/s,而内存的随机I/O性能指标是36.7M values/s。虽然图中没有给出values的具体含义,但既 阅读全文
posted @ 2019-06-11 20:13 huxihx 阅读 (366) 评论 (2) 编辑
摘要:最近思路有些枯竭,找些务虚的话题来凑。本文内容完全来自于Martin Kelppmann在2019年Kafka伦敦峰会上的演讲。顺便提一句,Kelppmann是《Designing Data-Intensive Applications》的作者。提起DDIA的大名想必各位应该是有所耳闻的。 Apac 阅读全文
posted @ 2019-05-20 15:22 huxihx 阅读 (159) 评论 (0) 编辑
摘要:Kafka consumer中poll(0)与poll(Duration.ofMills(0))的区别 阅读全文
posted @ 2019-04-26 12:03 huxihx 阅读 (1620) 评论 (9) 编辑
摘要:之前写过如何用服务器端的API代码来获取订阅某topic的所有consumer group,参见这里。使用服务器端的API需要用到kafka.admin.AdminClient类,但是这个类在0.11.0.0版本已经被标记为不推荐使用了,故目前最合适的方式还是通过客户端API:org.apache. 阅读全文
posted @ 2019-04-01 18:22 huxihx 阅读 (740) 评论 (0) 编辑
摘要:所有的讨论都是基于KIP-291展开的。抱歉,这又是一篇没有图的文字。 目前Kafka broker对所有发过来的请求都是一视同仁的,不会区别对待。不管是用于生产消费的PRODUCE和FETCH请求,还是controller端发送的LeaderAndIsr/StopReplica/UpdateMet 阅读全文
posted @ 2019-03-15 15:36 huxihx 阅读 (680) 评论 (0) 编辑
摘要:之前写过一篇Kafka ACL使用实战,里面演示了如何配置SASL PLAIN + ACL来为Kafka集群提供认证/权限安全保障,但有一个问题经常被问到:这种方案下是否支持动态增加/移除认证用户——这里给出明确的答案:不可以!因为所有认证用户信息全部配置在静态的jaas文件中,故无法在不重启bro 阅读全文
posted @ 2019-02-27 09:47 huxihx 阅读 (759) 评论 (3) 编辑
摘要:Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法,旨在提供超高的压缩比(compression ratio),具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法(G 阅读全文
posted @ 2019-01-28 18:07 huxihx 阅读 (935) 评论 (11) 编辑
摘要:本篇是《关于Kafka producer管理TCP连接的讨论》的续篇,主要讨论Kafka java consumer是如何管理TCP连接。实际上,这两篇大部分的内容是相同的,即consumer也是把TCP连接的管理交由底层的Selector类(org.apache.kafka.common.netw 阅读全文
posted @ 2019-01-04 09:53 huxihx 阅读 (460) 评论 (0) 编辑
摘要:碰到了有人问起这个问题,目前java consumer没有利用OffsetAndMetadata中的metadata字段记录提交的时间,故直接通过java consumer来查询是不行,我们需要直接读取__consumer_offsets,代码如下: 阅读全文
posted @ 2019-01-03 11:52 huxihx 阅读 (367) 评论 (2) 编辑