2024年5月14日
Flink同步mysql到iceberg
摘要： 一、如何做一致性保障 1、全量数据分片读取，增量数据单并发读取，保证增量阶段不会乱序2、全量阶段写入失败会清空表后重新写入，避免重复数据。3、全量阶段多task并行读取，把每个task开始结束时间提交给Flink Coordinator，由Coordinator做时间合并后，仅读取一次全量同步区间内 阅读全文
posted @ 2024-05-14 10:41 黑水滴 阅读(6) 评论(0) 推荐(0) 编辑