随笔分类 -  ETL

摘要:Kettle 的错误处理机制:百万条数据转换下的“一行都不能少”Kettle 的错误处理机制:百万条数据转换下的“一行都不能少” 在处理海量数据(例如从 SQL Server 到达梦数据库的迁移)任务中,我们面临一个经典而棘手的问题:如果过程中有一条数据失败,整个任务会怎样?是全部失败还是部分失败?本文将从理解Kettle的事务机制开始,一步步构建健壮的、能够自 阅读全文
posted @ 2025-07-04 18:21 knqiufan 阅读(613) 评论(0) 推荐(0)
摘要:深入解析 Kettle "插入/更新"组件,实现高效数据同步深入解析 Kettle "插入/更新"组件,实现高效数据同步 前言 在数据仓库和 ETL(抽取、转换、加载)领域,Pentaho Data Integration (PDI,又名 Kettle) 是一款功能强大且广受欢迎的开源工具。在日常的数据处理任务中,我们经常面临一个经典场景:如何将源数据同步到 阅读全文
posted @ 2025-06-23 17:22 knqiufan 阅读(2069) 评论(0) 推荐(0)