摘要： 一、Flink CEP ### FlinkCEP ~~~ CEP 即Complex Event Processing - 复杂事件处理， ~~~ Flink CEP 是在 Flink 中实现的复杂时间处理(CEP)库。处理事件的规则，被叫做“模式”(Pattern)， ~~~ Flink CEP 提 阅读全文

摘要： 一、消费策略 ### 消费策略 ~~~ # setStartFromGroupOffsets()【默认消费策略】 ~~~ 默认读取上次保存的offset信息 ~~~ 如果是应用第一次启动，读取不到上次的offset信息， ~~~ 则会根据这个参数auto.offset.reset的值来进行消费数据 阅读全文

摘要： 一、Kafka consumer offset自动提交： ### kafka consumer offset自动提交 ~~~ # kafka consumer offset自动提交的配置需要根据job是否开启checkpoint来区分 ~~~ checkpoint关闭时： ~~~ checkpoin 阅读全文

摘要： 一、源码提取说明 ### 源码提取说明 ~~~ # 源码提取说明：FlinkKafkaConsumerBase.java ~~~ # 第537~693行 @Override public void open(Configuration configuration) throws Exception 阅读全文

摘要： 一、源码提取说明 ### 直接启动consumer ~~~ # 源码提取说明：FlinkKafkaConsumerBase.java ~~~ # 第160~161行 /** The startup mode for the consumer (default is {@link StartupMod 阅读全文

摘要： 一、源码提取说明 ### kafkaFetcher的runFetchLoop方法 ~~~ 此方法为FlinkKafkaConsumer获取数据的主入口，通过一个循环来不断获取kafka broker的数据。 ~~~ # 源码提取说明：KafkaFetcher.java：方法实现 ~~~ # 第124 阅读全文

摘要： 一、关于并行度的设置 ### 关于并行度的设置 ~~~ 一个Flink程序由多个Operator组成(source、transformation和 sink)。 ~~~ 一个Operator由多个并行的Task(线程)来执行， ~~~ 一个Operator的并行Task(线程)数目就被称为该Oper 阅读全文

摘要： 一、Flink-Connector (Kafka) ### 源码理解 ~~~ # Funtion：UDF 处理数据的逻辑 ~~~ RichFunction: open/close 管理函数的生命周期的方法 ...RunTimeContext函数的运行时上下文 ~~~ SourceFunction： 阅读全文

摘要： 一、源码提取说明 ### flink-kafka 是如何消费的？以及如何分区分配等 ~~~ open方法源码： ### 指定offset提交模式 ~~~ OffsetCommitMode: ~~~ OffsetCommitMode:表示偏移量如何从外部提交回Kafka brokers/ ~~~ Zo 阅读全文

摘要： 一、编程代码实现 ### 编程代码实现：broadcastdemo.java package com.yanqi.state; import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.a 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、state 文件格式 ### state文件格式 ~~~ 当我们创建 state 时，数据是如何保存的呢？ ~~~ 对于不同的 statebackend，有不同的存储格式。 ~~~ 但是都是使用 flink 序列化器，将键值转化为字节数组保存起来。 ~~~ 这里使用 RocksDBStateBa 阅读全文

摘要： 一、开启 checkpoint ### 开启checkpoint ~~~ 开启 checkpoint 后， ~~~ state backend 管理的 taskmanager 上的状态数据才会被定期备份到jobmanager 或 外部存储， ~~~ 这些状态数据在作业失败恢复时会用到。我们可以通过以 阅读全文

摘要： 一、配置 state backend ### state backend ~~~ 我们知道 flink 提供了三个 state backend，那么如何配置使用某个 state backend 呢？ ~~~ 默认的配置在 conf/flink-conf.yaml 文件中 state.backend 阅读全文

摘要： 一、Keyed State & Operator State ### state 分类 ~~~ # Operator State (或者non-keyed state ) ~~~ 每个 Operator state 绑定一个并行 Operator 实例。 ~~~ Kafka Connector 是使 阅读全文

摘要： 一、广播状态：什么是广播状态？ ### 广播状态说明 ~~~ 所有并行实例，这些实例将它们维持为状态。不广播另一个流的事件， ~~~ 而是将其发送到同一运营商的各个实例，并与广播流的事件一起处理。 ~~~ 新的广播状态非常适合需要加入低吞吐量和高吞吐量流或需要动态更新其处理逻辑的应用程序。 ~~~ 阅读全文

摘要： 一、状态存储（扩展） ### 状态存储 ~~~ Flink 的一个重要特性就是有状态计算(stateful processing)。 ~~~ Flink 提供了简单易用的 API 来存储和获取状态。 ~~~ 但是，我们还是要理解 API 背后的原理，才能更好的使用。 ### State 存储方式：F 阅读全文

摘要： 一、Flink的State--状态原理及原理剖析 ### Flink的state&状态原理及原理剖析 ~~~ State:用来保存计算结果或缓存数据。 ~~~ Sum 二、状态类型 ### 状态类型 ~~~ Flink根据是否需要保存中间结果，把计算分为有状态计算和无状态计算 ~~~ 有状态计算：依 阅读全文

摘要： 一、状态描述：状态描述流程 ### 状态描述说明 ~~~ State 既然是暴露给用户的，那么就需要有一些属性需要指定： ~~~ state 名称、val serializer、state type info。 ~~~ 在对应的statebackend中，会去调用对应的create方法获取到stat 阅读全文

摘要： 一、watermark案例 ### 实现步骤： ~~~ 获取数据源 ~~~ 转化 ~~~ 声明水印（watermark） ~~~ 分组聚合，调用window的操作 ~~~ 保存处理结果 ### 注意： ~~~ 当使用EventTimeWindow时，所有的Window在EventTime的时间轴上进 阅读全文

摘要： 一、Flink Time ### Time ~~~ 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： ### Flink Time说明 ~~~ # - EventTime[事件时间] ~~~ 事件发生的时间， ~~~ 例如：点击网站上的某个链接的时间， ~~~ 每一条日志都会记录自己的 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Flink Window窗口机制：时间窗口TimeWindow：会话窗口（Session Window） ### Flink Window窗口机制：时间窗口TimeWindow：会话窗口（Session Window） ~~~ 时间窗口TimeWindow：会话窗口（Session Window 阅读全文

摘要： 一、Flink Window窗口机制 ### 时间窗口TumWindow：基于时间驱动 ~~~ # 场景： ~~~ 我们需要统计每一分钟中用户购买的商品的总数，需要将用户的行为事件按每一分钟进行切分， ~~~ 这种切分被成为翻滚时间窗口（Tumbling Time Window） 二、编程代码实现 阅读全文

摘要： 一、Flink Window窗口机制：时间窗口（TimeWindow） ### 滚动时间窗口（T目标领Window）基于事件驱动 ~~~ # 场景： ~~~ 当我们想要每100个用户的购买行为作为驱动，那么每当窗口中填满100个”相同”元素了， ~~~ 就会对窗口进行计算。 二、编程代码实现 ### 阅读全文

摘要： 一、Flink window窗口机制：滑动时间窗口（Sliding Window） ### Flink window窗口机制：滑动时间窗口（Sliding Window） ~~~ 滑动时间窗口Sliding Window ### 滑动时间窗口说明 ~~~ 滑动窗口是固定窗口的更广义的一种形式，滑动窗 阅读全文

摘要： 一、Flink Table API和SQL_API ### Flink Table API Flink SQL_API ~~~ Apache Flink提供了两种顶层的关系型API，分别为Table API和SQL， ~~~ Flink通过Table API&SQL实现了批流统一。 ~~~ 其中Ta 阅读全文

摘要： 一、Flink Window窗口机制 ### Flink Window 背景 ~~~ Flink认为Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎， ~~~ 在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。 ~~~ 通俗讲，Win 阅读全文

摘要： 一、Flink DataSet常用API ### Flink DataSet常用API ~~~ DataSet API同DataStream API一样有三个组成部分，各部分作用对应一致，此处不再赘述 二、DataSource ### DataSource ~~~ 对DataSet批处理而言，较为频 阅读全文

摘要： 一、DataStream常用API：Sink ### Sink ~~~ # Flink针对DataStream提供了大量的已经实现的数据目的地（Sink），具体如下所示 ~~~ writeAsText()：讲元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取 ~~~ 阅读全文

摘要： 一、导入mysql依赖 ### 在pom.xml文件下写入mysql依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.21</version> </d 阅读全文

摘要： 一、Flink DataStream常用API：Transformation ### Transformation ~~~ Flink针对DataStream提供了大量的已经实现的算子 二、Flink DataStream常用API：Transformation算子 ### Map ~~~ Data 阅读全文

摘要： 一、Flink DataStream常用API：Transformation ### 编程实现：ConnectDemo.java package com.yanqi.streamtransformation; import com.yanqi.streamdatasource.SelfSourceP 阅读全文

摘要： 一、DataSource自定义数据源 ### 自定义输入 ~~~ 可以使用StreamExecutionEnvironment.addSource(sourceFunction)将一个流式数据源加到程序中。 ~~~ Flink提供了许多预先实现的源函数，但是也可以编写自己的自定义源， ~~~ 方法是 阅读全文

摘要： 一、[方法一：没有并行度数据源]：编程代码实现：没有并行度数据源 ### 自定义数据源：没有并行度数据源：为非并行源implements SourceFunction， package com.yanqi.streamdatasource; import org.apache.flink.strea 阅读全文

摘要： 一、Flink常用API详解 ### Flink常用API详解 ~~~ DataStream API主要分为3块：DataSource、Transformation、Sink ~~~ DataSource是程序的数据源输入， ~~~ 可以通过StreamExecutionEnvironment.ad 阅读全文

摘要： 一、DataSource基于Socket ### DataSource基于Socket读取数据流 ~~~ # socketTextStream从Socket中读取数据，元素可以通过一个分隔符分开 二、编程代码实现 ### 编程代码实现 package com.yanqi.java; import o 阅读全文

摘要： 一、DataSource基于集合：fromCollection(Collection) ### DataSource基于集合：fromCollection(Collection) ~~~ # 通过Java的Collection集合创建一个数据流，集合中的所有元素必须是相同类型的如果满足以下条件， ~ 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、在IDEA下导入打jar插件 ### 将WordCountScalaStream打成jar包 ~~~ 注意：集群搭建完毕后，Flink程序就可以打成Jar， ~~~ 在集群环境下类似于Step7中一样提交执行计算任务打jar包插件： ~~~ 该插件可以把包含所有的Flink程序需要的所有的依赖文 阅读全文