10 2020 档案
Flink 反馈流 Demo
摘要:有的时候,我们需要创建有环执行流图,比如将一些处理过后还不满足条件的数据,返回到最开始重新处理。 之前在做的时候,会考虑将处理后还不满足的数据,写入到单独的 Topic 中重新消费处理 今天发现 Flink Iterate 算子,发现也能满足需求 官网介绍: https://ci.apache.or
阅读全文
【源码】Flink StreamingFileSink 处理流程
摘要:前两天试了下 Flink SQL 写 Hive,对 Sink 部分写数据到 HDFS 的部分比较疑惑,特别是基于 checkpoint 的文件提交,所以看了下 StreamingFileSink 的源码(Flink SQL 写 hive 复用了这部分代码) StreamingFileSink 是 1
阅读全文
浙公网安备 33010602011771号