摘要: 一、背景 mysql数据入湖后,有同事需要实时抽取iceberg v2表,想通过iceberg做分钟级实时数仓。目前flink社区暂不支持读取v2表。腾讯内部支持 目前只能用Oceanus内置connector,支持flink1.13版本。需要读写时都用iceberg-1.1去处理,因为写入是定制i 阅读全文
posted @ 2024-04-19 16:47 黑水滴 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 一、数据打快照做数据比较 1、mysql创建快照 优点:可以选择时间做快照,然后对比 缺点:需要额外的存储空间和处理时间,不好自动化,大表做快照成本高 2、实现方式 create database 快照名称 on (name=数据库名称,filename='存放快照路径/文件名.ss' as sna 阅读全文
posted @ 2024-04-19 15:09 黑水滴 阅读(3) 评论(0) 推荐(0) 编辑