摘要：一、背景 微批治理任务分多个job治理一张表，还有一个Flink程序每5分钟一次写入iceberg表，如治理任务划分了20个job治理一张表，在治理期间存在新的数据更新，如何保证治理准确性 二、治理时写入，快照对应信息 1、治理和写入时快照和文件变化 snapshot_id sequence num 阅读全文

摘要：一、问题描述 在iceberg rewrite时报错：org.apache.iceberg.exceptions.ValidationException: Cannot commit, found new delete for replaced data file 看信息像是对于要删除的DataFi 阅读全文

摘要：一、本地ssh配置 1、本地没有.ssh目录，第一次初始化ssh，一直回车键默认值 ssh-keygen -t rsa -P '' 2、设置目录权限 chmod 700 -R .ssh 设置目录权限 3、公钥追加到本机 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authoriz 阅读全文