摘要： 最近一直在看 StreamGraph 生成的源码，刚好有点思路，准备动手了发现，如果不说下 Transformation 后面的 StreamGraph 会差比较多意思，所以先做点铺垫。 ## Transformation Transformation 类是 Flink 转换算子的基类，实现类有下面 阅读全文

摘要： 有的时候，我们需要创建有环执行流图，比如将一些处理过后还不满足条件的数据，返回到最开始重新处理。 之前在做的时候，会考虑将处理后还不满足的数据，写入到单独的 Topic 中重新消费处理 今天发现 Flink Iterate 算子，发现也能满足需求 官网介绍： https://ci.apache.or 阅读全文

摘要： 前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 阅读全文

摘要： Flink 1.11 发布了支持 MySQL CDC（Changelog Data Capture） 可以直接解析 Canal / Debezium 格式的 MySQL Binlog 对于实时处理程序，MySQL 的 Binlog 是很重要的数据源（上一个项目几乎所有实时数据都是来自业务系统的数据库 阅读全文

摘要： Flink 1.11 版本对SQL的优化是很多的，其中最重要的一点就是 hive 功能的完善，不再只是作为持久化的 Catalog，而是可以用原生的 Flink SQL 流式的写数据到入 hive中 本文使用官网 “Streaming Writing” 案例 （https://ci.apache.o 阅读全文

摘要： 通常的认识是：Flink 流模式跑流任务，批模式跑批任务，用流模式跑离线任务也是个有意思的事情 虽然新版 Flink 已经在 sql 上实现了一定程度的流批一体，但是 DataStream 和 DataSet API 还是相差比较大的 用 Flink 跑离线任务也是机缘巧合（也是必然，毕竟我不会 S 阅读全文

摘要： 前言： Flink 窗口会将当前窗口的数据存储在状态中，等待窗口结束的时候触发计算，那窗口状态什么时候清理？ （前提： 窗口的主要逻辑是在 WindowOperator 中完成的） 翻一下 WindowOperator 的代码，可以看到下面这个方法，“Drops all state for the 阅读全文

摘要： 之前分享了一个 Flink 的面试题，这里简单回顾下内容： 有两个输入源，一个是命令流，一个是数据流 需要将命令流进行广播，然后和数据流进行connect，根据命令流指定的命令进行统计 实现一个输出到终端的 sink，将统计结果打印出来，每一条记录包括 taskId, targetAttr, per 阅读全文

摘要： 之前看 Flink Source 的 metrics 时候，看到 FlinkKafkaConsuemr 消费 Kafka 数据的代码，感觉比较有意思，就仔细看下了 大致流程如下： FlinkKafKaConsuemr 的启动流程就不细讲了，直接跳到 FlinkKafkaConsumerBase.ru 阅读全文

摘要： Checkpoint 源码流程： Flink MiniCluster 启动流程 Flink CheckpointCoordinator 启动流程 Flink Checkpoint 流程 先贴段简单的代码 val kafkaSource = new FlinkKafkaConsumer[String] 阅读全文