摘要:背景 上一篇我们介绍了Kafka Streams中的消息过滤操作filter,今天我们展示一个对消息进行转换Key的操作,依然是结合一个具体的实例展开介绍。所谓转换Key是指对流处理中每条消息的Key进行变换操作,以方便后面进行各种groupByKey操作。 演示功能说明 本篇演示selectKey 阅读全文
posted @ 2019-10-12 14:35 huxihx 阅读 (16) 评论 (0) 编辑
摘要:背景 上一篇我们介绍了Kafka Streams中的消息转换操作map,今天我们给出另一个经典的转换操作filter的用法。依然是结合一个具体的实例展开介绍。 演示功能说明 本篇演示filter用法,即根据给定的过滤条件或逻辑实时对每条消息进行过滤处理。今天使用的输入topic消息格式如下: {"n 阅读全文
posted @ 2019-09-19 11:13 huxihx 阅读 (66) 评论 (0) 编辑
摘要:背景 最近发现Confluent公司在官网上发布了Kafka Streams教程,共有10节课,每节课给出了Kafka Streams的一个功能介绍。这个系列教程对于我们了解Kafka Streams还是很有帮助的。为什么要了解Kafka Streams?其实我一直觉得国内对于Flink有点过于迷恋 阅读全文
posted @ 2019-09-16 10:47 huxihx 阅读 (127) 评论 (2) 编辑
摘要:Kafka 2.3发布后官网的Consumer参数中增加了一个新的参数:group.instance.id。下面是这个参数的解释: A unique identifier of the consumer instance provided by end user. Only non-empty st 阅读全文
posted @ 2019-08-21 14:04 huxihx 阅读 (106) 评论 (0) 编辑
摘要:Kafka 2.3新功能:限定Broker端入站连接总数 阅读全文
posted @ 2019-07-29 11:36 huxihx 阅读 (84) 评论 (0) 编辑
摘要:这个问题来源于我书中引用的一幅图: 我们从图中明显可以看某性能测试的结果表明普通机械磁盘的顺序I/O性能指标是53.2M values/s,SSD的顺序I/O性能指标是42.2M values/s,而内存的随机I/O性能指标是36.7M values/s。虽然图中没有给出values的具体含义,但既 阅读全文
posted @ 2019-06-11 20:13 huxihx 阅读 (688) 评论 (3) 编辑
摘要:最近思路有些枯竭,找些务虚的话题来凑。本文内容完全来自于Martin Kelppmann在2019年Kafka伦敦峰会上的演讲。顺便提一句,Kelppmann是《Designing Data-Intensive Applications》的作者。提起DDIA的大名想必各位应该是有所耳闻的。 Apac 阅读全文
posted @ 2019-05-20 15:22 huxihx 阅读 (229) 评论 (0) 编辑
摘要:Kafka consumer中poll(0)与poll(Duration.ofMills(0))的区别 阅读全文
posted @ 2019-04-26 12:03 huxihx 阅读 (3159) 评论 (9) 编辑
摘要:之前写过如何用服务器端的API代码来获取订阅某topic的所有consumer group,参见这里。使用服务器端的API需要用到kafka.admin.AdminClient类,但是这个类在0.11.0.0版本已经被标记为不推荐使用了,故目前最合适的方式还是通过客户端API:org.apache. 阅读全文
posted @ 2019-04-01 18:22 huxihx 阅读 (1144) 评论 (0) 编辑
摘要:所有的讨论都是基于KIP-291展开的。抱歉,这又是一篇没有图的文字。 目前Kafka broker对所有发过来的请求都是一视同仁的,不会区别对待。不管是用于生产消费的PRODUCE和FETCH请求,还是controller端发送的LeaderAndIsr/StopReplica/UpdateMet 阅读全文
posted @ 2019-03-15 15:36 huxihx 阅读 (929) 评论 (0) 编辑