posts - 217,  comments - 37,  trackbacks - 0
  2020年9月14日
摘要:前言: Flink 窗口会将当前窗口的数据存储在状态中,等待窗口结束的时候触发计算,那窗口状态什么时候清理? (前提: 窗口的主要逻辑是在 WindowOperator 中完成的) 翻一下 WindowOperator 的代码,可以看到下面这个方法,“Drops all state for the 阅读全文
posted @ 2020-09-14 15:34 Flink菜鸟 阅读(26) 评论(0) 推荐(0) 编辑
  2020年9月9日
摘要:之前分享了一个 Flink 的面试题,这里简单回顾下内容: 有两个输入源,一个是命令流,一个是数据流 需要将命令流进行广播,然后和数据流进行connect,根据命令流指定的命令进行统计 实现一个输出到终端的 sink,将统计结果打印出来,每一条记录包括 taskId, targetAttr, per 阅读全文
posted @ 2020-09-09 20:20 Flink菜鸟 阅读(60) 评论(0) 推荐(0) 编辑
  2020年9月4日
摘要:之前看 Flink Source 的 metrics 时候,看到 FlinkKafkaConsuemr 消费 Kafka 数据的代码,感觉比较有意思,就仔细看下了 大致流程如下: FlinkKafKaConsuemr 的启动流程就不细讲了,直接跳到 FlinkKafkaConsumerBase.ru 阅读全文
posted @ 2020-09-04 16:47 Flink菜鸟 阅读(48) 评论(0) 推荐(0) 编辑
  2020年8月26日
摘要:Checkpoint 源码流程: Flink MiniCluster 启动流程 Flink CheckpointCoordinator 启动流程 Flink Checkpoint 流程 先贴段简单的代码 val kafkaSource = new FlinkKafkaConsumer[String] 阅读全文
posted @ 2020-08-26 15:34 Flink菜鸟 阅读(109) 评论(0) 推荐(0) 编辑
  2020年8月19日
摘要:Checkpoint 源码流程: Flink MiniCluster 启动流程 Flink CheckpointCoordinator 启动流程 Flink Checkpoint 流程 开局一张图,其他全靠吹,来一张官网 Flink 集群解析图: 官网地址:https://ci.apache.org 阅读全文
posted @ 2020-08-19 16:41 Flink菜鸟 阅读(46) 评论(0) 推荐(0) 编辑
  2020年8月18日
摘要:Checkpoint 源码流程: Flink MiniCluster 启动流程 Flink CheckpointCoordinator 启动流程 Flink Checkpoint 流程 最近一段时间,在看 Flink Checkpoint 相关的源码,从 CheckpointCoordinator 阅读全文
posted @ 2020-08-18 20:32 Flink菜鸟 阅读(58) 评论(0) 推荐(0) 编辑
  2020年8月4日
摘要:最近好些朋友问过我要 Flink 的学习资料,就把电脑上存的Flink 的文档书什么的都放到网盘,然后发出去了 对于初学者,拿着一堆资料是不知道从什么地方开始的学习的,我这个菜鸡也有很多没看(flink 线下 meetup ppt、Flink Forward ppt) 最好的文档,永远是官网文档,特 阅读全文
posted @ 2020-08-04 20:32 Flink菜鸟 阅读(315) 评论(0) 推荐(0) 编辑
  2020年7月30日
摘要:flink 消费 kafka 数据,提交消费组 offset 有三种类型 1、开启 checkpoint : 在 checkpoint 完成后提交 2、开启 checkpoint,禁用 checkpoint 提交: 不提交消费组 offset 3、不开启 checkpoint: 依赖kafka cl 阅读全文
posted @ 2020-07-30 17:22 Flink菜鸟 阅读(295) 评论(0) 推荐(0) 编辑
  2020年7月25日
摘要:月初的时候,Flink 终于发布 1.11.0 版本, CDC 的功能还是比较期待的(虽然比预期差很多) 当然是升级一波了 最新的代码已经上传到 GitHub : https://github.com/springMoon/sqlSubmit 跑 sqlSubmit 的代码,随便来个 kafka t 阅读全文
posted @ 2020-07-25 11:44 Flink菜鸟 阅读(378) 评论(0) 推荐(1) 编辑
  2020年7月17日
摘要:借用官网的一个例子: 假设存在一个序列,序列中的元素是具有不同颜色与形状的图形,我们希望在序列里相同颜色的图形中寻找满足一定顺序模式的图形对(比如在红色的图形里,有一个长方形跟着一个三角形)。 同时,我们希望寻找的模式也会随着时间而改变。 在这个例子中,我们定义两个流,一个流包含图形(Item),具 阅读全文
posted @ 2020-07-17 11:35 Flink菜鸟 阅读(290) 评论(0) 推荐(0) 编辑