摘要:写在前面的 最近看了Kafka Summit上的这个分享,觉得名字很霸气,标题直接沿用了。这个分享源于社区的KIP-500,大体的意思今后Apache Kafka不再需要ZooKeeper。整个分享大约40几分钟。完整看下来感觉干货很多,这里特意总结出来。如果你把这个分享看做是《三国志》的话,那么姑 阅读全文
posted @ 2019-11-20 11:27 huxihx 阅读 (207) 评论 (1) 编辑
摘要:背景 上一篇演示了filter操作算子的用法。今天展示一下如何根据不同的条件谓词(Predicate)将一个消息流实时地进行分流,划分成多个新的消息流,即所谓的流split。有的时候我们想要对消息流中的不同消息类型进行不同的处理逻辑,此时流split功能就显得非常的实用。 演示功能说明 今天依然使用 阅读全文
posted @ 2019-11-05 09:40 huxihx 阅读 (69) 评论 (0) 编辑
摘要:背景 上一篇我们介绍了Kafka Streams中的消息过滤操作filter,今天我们展示一个对消息进行转换Key的操作,依然是结合一个具体的实例展开介绍。所谓转换Key是指对流处理中每条消息的Key进行变换操作,以方便后面进行各种groupByKey操作。 演示功能说明 本篇演示selectKey 阅读全文
posted @ 2019-10-12 14:35 huxihx 阅读 (76) 评论 (0) 编辑
摘要:背景 上一篇我们介绍了Kafka Streams中的消息转换操作map,今天我们给出另一个经典的转换操作filter的用法。依然是结合一个具体的实例展开介绍。 演示功能说明 本篇演示filter用法,即根据给定的过滤条件或逻辑实时对每条消息进行过滤处理。今天使用的输入topic消息格式如下: {"n 阅读全文
posted @ 2019-09-19 11:13 huxihx 阅读 (122) 评论 (0) 编辑
摘要:背景 最近发现Confluent公司在官网上发布了Kafka Streams教程,共有10节课,每节课给出了Kafka Streams的一个功能介绍。这个系列教程对于我们了解Kafka Streams还是很有帮助的。为什么要了解Kafka Streams?其实我一直觉得国内对于Flink有点过于迷恋 阅读全文
posted @ 2019-09-16 10:47 huxihx 阅读 (287) 评论 (2) 编辑
摘要:Kafka 2.3发布后官网的Consumer参数中增加了一个新的参数:group.instance.id。下面是这个参数的解释: A unique identifier of the consumer instance provided by end user. Only non-empty st 阅读全文
posted @ 2019-08-21 14:04 huxihx 阅读 (212) 评论 (5) 编辑
摘要:Kafka 2.3新功能:限定Broker端入站连接总数 阅读全文
posted @ 2019-07-29 11:36 huxihx 阅读 (135) 评论 (0) 编辑
摘要:这个问题来源于我书中引用的一幅图: 我们从图中明显可以看某性能测试的结果表明普通机械磁盘的顺序I/O性能指标是53.2M values/s,SSD的顺序I/O性能指标是42.2M values/s,而内存的随机I/O性能指标是36.7M values/s。虽然图中没有给出values的具体含义,但既 阅读全文
posted @ 2019-06-11 20:13 huxihx 阅读 (1007) 评论 (3) 编辑
摘要:最近思路有些枯竭,找些务虚的话题来凑。本文内容完全来自于Martin Kelppmann在2019年Kafka伦敦峰会上的演讲。顺便提一句,Kelppmann是《Designing Data-Intensive Applications》的作者。提起DDIA的大名想必各位应该是有所耳闻的。 Apac 阅读全文
posted @ 2019-05-20 15:22 huxihx 阅读 (281) 评论 (0) 编辑
摘要:Kafka consumer中poll(0)与poll(Duration.ofMills(0))的区别 阅读全文
posted @ 2019-04-26 12:03 huxihx 阅读 (4880) 评论 (9) 编辑