摘要： 1、上一节课我们学习了1对多表拆分数据同步，本节课我们一起学习多对1数据同步，也就是说多张表关联之后的结果集写入一张表。 我们平常在写java应用的时候多表关联一般有两种方式： a、通过sql 语句的join 进行关联。 b、将多个表的数据集加载到内存中通过java代码进行关联。 同样在kettle 阅读全文

摘要： 1、在有的业务场景中，会涉及一对多表拆分同步的业务场景，也就是说原表是一张表，将原表字段进行拆分放入目标库中的多张表，如下面的示例将表student_third中的数据 同步到student、teacher 两张表。 数据源表student_third CREATE TABLE `student_t 阅读全文

摘要： 1、上一课我们学习了在数据量大的情况下的分页全量同步示例，本次我们一起学习下kettle 增量全量同步。有些业务场景不需要实时数据，比如每N分钟抽取一次数据等。 2、kettle增量全量同步示例依然基于test数据库，从t1表增量同步数据到t2表，假定每N（这里的N可以根据业务场景自定义job触发频 阅读全文

摘要： 1、大家都知道，我们在平常写java或者C#等代码时，如果涉及操作多个表时为了保持数据一致性需要开启事务，同样kettle也支持事务，今天我们一起来学习下kettle 单个转换文件内的事务特性。 转换文件中的步骤是并行执行的，每个步骤都打开一个独立的数据库连接并开始一个事务。尽管这样在很多情况下会提 阅读全文

摘要： 1、上一课我们学习了在数据量大的情况下的分页全量同步示例，本次我们一起学习下kettle 增量全量同步。有些业务场景不需要实时数据，比如统计t-1日的销售业绩情况等。 2、kettle增量全量同步示例依然基于test数据库，从t1表增量同步数据到t2表，假定每天0点跑批将t1表中的t-1日的数据同步 阅读全文

摘要： 1、上一课我们学习了在数据量小的情况下的全量同步示例，本次我们一起学习下kettle 分页全量同步。 2、kettle分页全量同步示例依然基于test数据库，从t1表全量同步数据到t2表，由于t1表的数据比较大，所以选择分页全量同步策略，如下图所示。 前提： a、基于mysql 数据库 b、分页查询 阅读全文

摘要： 1、下图是一些常见的数据同步业务场景： 实时数据：对实时性要求很高，延迟在毫秒范围内。常见的有kafka/rabbitmq等消息中间件，mysql binlog日志，oracle归档日志等。 离线数据：对实时性要求不高，可以分钟级、小时级、日级等。比如历史数据迁移或者T日处理T-1日数据等。 全量同 阅读全文

摘要： 1、carte服务可以单体运行也可以集群方式运行，今天我们一起来学习下carte的集群模式部署和使用。本次示例用一个master和两个slave从节点演示。 carte-config-master-8080.xml 配置文件： 1 <slave_config> 2 <!-- 3 Document d 阅读全文

摘要： 1、设置变量 a、可以通过转换中的“设置变量”步骤进行设置。 b、手动通过kettle.properties文件或通过“编辑”菜单中的“设置环境变量”对话框来定义变量。kettle.properties文件的位置可以通过设置KETTLE_HOME来指定，如设置KETTLE_HOME 为/opt/ke 阅读全文

摘要： 1、我们在平常写应用程序的时候，需要主动捕获异常或者错误，不然程序有可能异常退出。同样kettle 也支持异常或者错误处理，下图展示的是在批量插入数据的时候捕获异常，如唯一健冲突，死锁等，并将错误信息保存到表里面，方便后续邮件预警和排查问题。 2、在需要异常处理的步骤上面右键，点击定义错误处理，如下 阅读全文