07 2020 档案
【源码】 flink 消费 kafka 消费组 offset 提交
摘要:flink 消费 kafka 数据,提交消费组 offset 有三种类型 1、开启 checkpoint : 在 checkpoint 完成后提交 2、开启 checkpoint,禁用 checkpoint 提交: 不提交消费组 offset 3、不开启 checkpoint: 依赖kafka cl
阅读全文
解决 Flink 1.11.0 sql 不能指定 jobName 的问题
摘要:月初的时候,Flink 终于发布 1.11.0 版本, CDC 的功能还是比较期待的(虽然比预期差很多) 当然是升级一波了 最新的代码已经上传到 GitHub : https://github.com/springMoon/sqlSubmit 跑 sqlSubmit 的代码,随便来个 kafka t
阅读全文
Flink connect 算子实践
摘要:借用官网的一个例子: 假设存在一个序列,序列中的元素是具有不同颜色与形状的图形,我们希望在序列里相同颜色的图形中寻找满足一定顺序模式的图形对(比如在红色的图形里,有一个长方形跟着一个三角形)。 同时,我们希望寻找的模式也会随着时间而改变。 在这个例子中,我们定义两个流,一个流包含图形(Item),具
阅读全文
DataStreamUtils 连续keyBy 优化
摘要:经常会有这样的业务需求,需要对一个 stream 连续分区,比如: source .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) .
阅读全文
浙公网安备 33010602011771号