09 2025 档案

摘要：0.前言 在同步AS400的数据时，原表字段是固定字段长度的，长度不足时使用空格符填充，故直接"表输入"->"表输出"时，目标表也会同步对应的空格符，很明显这是我们所不想要的，以下是通过"字符串操作"处理组件进行处理即可，这里只需要使用一个转换即可完成。 1.详细操作步骤 完整流程 执行SQL脚本 阅读全文

摘要：0.前言 在同步大表的时候，如果数据量大，需要分批次进行同步，使用分页是一种方法，如果原表中是有Date字段的话，可以按日期进行同步。本次kettle同步使用日期搭建同步的工作流，主要的思路如下： 清空目标表 [转换]获取日期分组的数据； [转换]分批写数据到目标表； 1.设计步骤 （1）主工作流 阅读全文

摘要：0.前言 以下是使用kettle对大表进行分页分批次全量同步的基础例子，并尽量减少job与trans的嵌套，在此基础上继续添加细节。 此工作流的源与目标均是mysql数据库，主要的设计思路是： 开始 truncate目标表 设置全局变量（batch_size、total_pages、current_ 阅读全文