2024年11月22日
FLink同步mysql到Iceberg丢数问题排查解决
摘要： 一、问题背景 数据对比程序发现通过Flink cdc同步mysql写入Iceberg表运行一段时间后存在丢数问题，排查到丢数是由于hivemetastore钩子函数缺陷引起，由腾讯云EMR修复 钩子函数作用：在查询表时，更新hivemetastore中表的最近访问时间 产生丢数的原因：因钩子函数需要 阅读全文
posted @ 2024-11-22 18:41 Robots2 阅读(182) 评论(0) 推荐(0)