摘要: 这个问题来源于我书中引用的一幅图: 我们从图中明显可以看某性能测试的结果表明普通机械磁盘的顺序I/O性能指标是53.2M values/s,SSD的顺序I/O性能指标是42.2M values/s,而内存的随机I/O性能指标是36.7M values/s。虽然图中没有给出values的具体含义,但既阅读全文
posted @ 2019-06-11 20:13 huxihx 阅读(28) 评论(0) 编辑
摘要: 最近思路有些枯竭,找些务虚的话题来凑。本文内容完全来自于Martin Kelppmann在2019年Kafka伦敦峰会上的演讲。顺便提一句,Kelppmann是《Designing Data-Intensive Applications》的作者。提起DDIA的大名想必各位应该是有所耳闻的。 Apac阅读全文
posted @ 2019-05-20 15:22 huxihx 阅读(82) 评论(0) 编辑
摘要: Kafka consumer中poll(0)与poll(Duration.ofMills(0))的区别阅读全文
posted @ 2019-04-26 12:03 huxihx 阅读(401) 评论(9) 编辑
摘要: 之前写过如何用服务器端的API代码来获取订阅某topic的所有consumer group,参见这里。使用服务器端的API需要用到kafka.admin.AdminClient类,但是这个类在0.11.0.0版本已经被标记为不推荐使用了,故目前最合适的方式还是通过客户端API:org.apache.阅读全文
posted @ 2019-04-01 18:22 huxihx 阅读(251) 评论(0) 编辑
摘要: 所有的讨论都是基于KIP-291展开的。抱歉,这又是一篇没有图的文字。 目前Kafka broker对所有发过来的请求都是一视同仁的,不会区别对待。不管是用于生产消费的PRODUCE和FETCH请求,还是controller端发送的LeaderAndIsr/StopReplica/UpdateMet阅读全文
posted @ 2019-03-15 15:36 huxihx 阅读(375) 评论(0) 编辑
摘要: 之前写过一篇Kafka ACL使用实战,里面演示了如何配置SASL PLAINTEXT + ACL来为Kafka集群提供认证/权限安全保障,但有一个问题经常被问到:这种方案下是否支持动态增加/移除认证用户——这里给出明确的答案:不可以!因为所有认证用户信息全部配置在静态的jaas文件中,故无法在不重阅读全文
posted @ 2019-02-27 09:47 huxihx 阅读(404) 评论(2) 编辑
摘要: Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法,旨在提供超高的压缩比(compression ratio),具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法(G阅读全文
posted @ 2019-01-28 18:07 huxihx 阅读(469) 评论(11) 编辑
摘要: 本篇是《关于Kafka producer管理TCP连接的讨论》的续篇,主要讨论Kafka java consumer是如何管理TCP连接。实际上,这两篇大部分的内容是相同的,即consumer也是把TCP连接的管理交由底层的Selector类(org.apache.kafka.common.netw阅读全文
posted @ 2019-01-04 09:53 huxihx 阅读(273) 评论(0) 编辑
摘要: 碰到了有人问起这个问题,目前java consumer没有利用OffsetAndMetadata中的metadata字段记录提交的时间,故直接通过java consumer来查询是不行,我们需要直接读取__consumer_offsets,代码如下:阅读全文
posted @ 2019-01-03 11:52 huxihx 阅读(274) 评论(2) 编辑
摘要: 关于Kafka Java producer如何管理TCP连接的讨论阅读全文
posted @ 2018-12-13 10:58 huxihx 阅读(866) 评论(0) 编辑