摘要：1、问题描述： 某个系统原库的数据同步到备份库。但是由于原库的的数据会物理删除，此时需要删除备份库的数据。 2、不理想的解决1： 1）首先从备份库获取该表的所有ID； 2）循环备份库的ID，去原库检测下是否存在。不存在则表示原库已经物理删除，则删掉备份库对应的数据；原库存在则不处理备份库的数据。 3 阅读全文

摘要：ETL全量多表同步简述 1. 实现需求 当原数据库的表有新增、更新、删除操作时，将改动数据同步到目标库对应的数据表。 2. 设计思路 设计总体流程图如下： 1、获取同步表名如下图： 2、循环迁移数据如下图： 3、循环迁移数据的数据处理如下图： 2.1. 软件安装 1、Jdk 2、Kettle同步工具 阅读全文

摘要：ETL全量单表同步简述 1. 实现需求 当原数据库的表有新增、更新、删除操作时，将改动数据同步到目标库对应的数据表。 2. 设计思路 设计总体流程图如下： 注意点： 1、数据库合并时，选择正确的数据源。 2、不要选“简易转换”。 2.1. 软件安装 1、Jdk 2、Kettle同步工具 说明： ke 阅读全文

摘要：ETL增量单表同步简述 1. 实现需求 当原数据库的表有新增、更新、删除操作时，将改动数据同步到目标库对应的数据表。 2. 设计思路 设计总体流程图如下： 步骤简单说明： 1、设置job的执行属性，如下图： 2、根据要同步的表名，更新同步配置表synConfig的endTime。 3、根据begin 阅读全文

摘要：ETL增量单表同步简述 1. 实现需求 当原数据库的表有新增、更新、删除操作时，将改动数据同步到目标库对应的数据表。 2. 设计思路 设计总体流程图如下： 步骤简单说明： 1、设置job的执行属性，如下图： 2、根据要同步的表名，更新同步配置表synConfig的endTime。 3、获取同步时间段 阅读全文