2021年6月8日
读取parquet文件后和其它表join后回写问题
摘要： 背景 需要对埋点数据进行增量清洗，增量更新parquet数据文件，步骤如下： 首次清洗历史所有数据 后续每次取增量数据和上次清洗结果做合并 问题 1、如何判断为首次任务，实现方案： 方案1:判断指定目录下是否存在数据文件 方案2:默认按照增量处理，首次不存在数据文件，通过异常捕获机制全量清洗 2、增 阅读全文
posted @ 2021-06-08 18:44 肆玖爺 阅读(305) 评论(0) 推荐(0)