摘要:我懒得去在linux虚机上搭建集群版了,这种网上一搜一大堆。直接弄个localhost的,在IDEA上跑一跑吧。 使用flink的场景,一般都是处理无界流,服务一旦启动,就不关闭了。我们来模拟一个接受无限输入单词的wordcount。 pom文件的主要内容如下,关注标红的部分就行。 <propert
阅读全文
摘要:这一篇很难懂,我也不懂。 有状态流处理 虽然数据流中的许多操作一次只查看一个单独的事件(例如事件解析器),但有些操作会记住多个事件的信息(例如窗口操作符)。这些操作称为有状态的。 有状态操作的一些示例: 当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。 当聚合每分钟/小时/天的事件
阅读全文
摘要:Flink处理数据有三个环节,有一个数据源source,有中间的处理过程transform,最后要发送到一个目标地址sink。这个三步走的过程跟flume很像。这一篇我们来了解一下flink的架构。这一篇我直接从官网转过来,这玩意我也没用过,不熟悉。 Flink集群 Flink 运行时由两种类型的进
阅读全文
摘要:flink是什么 官网将flink高度概括为数据流上的有状态计算。Apache Flink 是一个框架和分布式处理引擎,用于在无界和有界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。 数据流 任何类型的数据都可以形成一种事件流。信用卡交易、传感器
阅读全文