10 2020 档案
Flink 反馈流 Demo
摘要:有的时候,我们需要创建有环执行流图,比如将一些处理过后还不满足条件的数据,返回到最开始重新处理。 之前在做的时候,会考虑将处理后还不满足的数据,写入到单独的 Topic 中重新消费处理 今天发现 Flink Iterate 算子,发现也能满足需求 官网介绍: https://ci.apache.or 阅读全文
posted @ 2020-10-22 11:05 Flink菜鸟 阅读(727) 评论(0) 推荐(0)
【源码】Flink StreamingFileSink 处理流程
摘要:前两天试了下 Flink SQL 写 Hive,对 Sink 部分写数据到 HDFS 的部分比较疑惑,特别是基于 checkpoint 的文件提交,所以看了下 StreamingFileSink 的源码(Flink SQL 写 hive 复用了这部分代码) StreamingFileSink 是 1 阅读全文
posted @ 2020-10-20 17:41 Flink菜鸟 阅读(2900) 评论(0) 推荐(1)