2025年1月7日
Flink同步mysql写入Iceberg异常，一秒写入一次
摘要： 1、现象 在Iceberg数据湖治理过程中发现，同步任务运行7天没有写入数据，运行7天后突然大批量产生Commit，一秒产生一个Commit。 2、问题 Flink写入checkpoint时会在checkpoint中先记录一个递增id， commit后会在Iceberg表中记录一个递增commit 阅读全文
posted @ 2025-01-07 15:17 Robots2 阅读(46) 评论(0) 推荐(0)