摘要:1. 背景 上一篇介绍了如何利用Kafka Streams实时统计某年最卖座和最不卖座的电影票房。主要的方法是通过Streams提供的aggregate方法实现了max/min算子。今天我为大家带来时间窗口函数的使用方法。在Kafka Streams中,时间窗口有三类:固定时间窗口(Tumbling 阅读全文
posted @ 2020-04-10 13:44 huxihx 阅读(104) 评论(0) 推荐(1) 编辑
摘要:1. 背景 上一篇介绍了如何利用Kafka Streams对实时消息流进行汇总求和。本篇将设定一个场景:我们引入一个Kafka topic表示电影票的销售,同时我们基于Kafka Streams编写一个程序来计算每年最卖座的电影票房以及最不卖座的电影票房。 2. 功能演示说明 假设我们要执行票房统计 阅读全文
posted @ 2020-03-30 10:50 huxihx 阅读(55) 评论(0) 推荐(0) 编辑
摘要:最近事情多有点犯懒,依然带来一篇译文:Apache Kafka Producer Improvements with the Sticky Partitioner 消息在系统中流转的时间对于Kafka的性能来说至关重要。具体到Producer而言,Producer端的延时(Latency)通常被定义 阅读全文
posted @ 2020-03-21 17:54 huxihx 阅读(133) 评论(0) 推荐(0) 编辑
摘要:降低Kafka延时的方法论 阅读全文
posted @ 2020-03-04 16:49 huxihx 阅读(189) 评论(2) 推荐(0) 编辑
摘要:Kafka Streams汇总求和 阅读全文
posted @ 2020-02-03 16:01 huxihx 阅读(111) 评论(0) 推荐(0) 编辑
摘要:1. 背景 上一篇介绍了merge算子的作用。这一篇介绍如何从一个Kafka Streams中过滤掉那些重复出现的事件,只留下那些唯一的事件。 2. 功能演示说明 假设我们要执行去重逻辑的事件格式如下: {"ip":"10.0.0.1","url":"https://docs.confluent.i 阅读全文
posted @ 2020-01-06 10:46 huxihx 阅读(158) 评论(0) 推荐(0) 编辑
摘要:1. 背景 上一篇演示了split操作算子的用法。今天展示一下split的逆操作:merge。Merge算子的作用是把多股实时消息流合并到一个单一的流中。 2. 功能演示说明 假设我们有多个Kafka topic,每个topic表示某类特定音乐类型的歌曲,比如有摇滚乐、古典乐等。本例中我们演示如何使 阅读全文
posted @ 2019-12-09 10:51 huxihx 阅读(169) 评论(0) 推荐(0) 编辑
摘要:背景 上一篇演示了filter操作算子的用法。今天展示一下如何根据不同的条件谓词(Predicate)将一个消息流实时地进行分流,划分成多个新的消息流,即所谓的流split。有的时候我们想要对消息流中的不同消息类型进行不同的处理逻辑,此时流split功能就显得非常的实用。 演示功能说明 今天依然使用 阅读全文
posted @ 2019-11-05 09:40 huxihx 阅读(180) 评论(0) 推荐(0) 编辑
摘要:背景 上一篇我们介绍了Kafka Streams中的消息过滤操作filter,今天我们展示一个对消息进行转换Key的操作,依然是结合一个具体的实例展开介绍。所谓转换Key是指对流处理中每条消息的Key进行变换操作,以方便后面进行各种groupByKey操作。 演示功能说明 本篇演示selectKey 阅读全文
posted @ 2019-10-12 14:35 huxihx 阅读(206) 评论(0) 推荐(0) 编辑
摘要:背景 上一篇我们介绍了Kafka Streams中的消息转换操作map,今天我们给出另一个经典的转换操作filter的用法。依然是结合一个具体的实例展开介绍。 演示功能说明 本篇演示filter用法,即根据给定的过滤条件或逻辑实时对每条消息进行过滤处理。今天使用的输入topic消息格式如下: {"n 阅读全文
posted @ 2019-09-19 11:13 huxihx 阅读(300) 评论(0) 推荐(0) 编辑