数据手艺人

摘要： 这个实验主要思想是在创建数据库表的时候，通过增加一个额外的字段，也就是时间戳字段，例如在同步表 tt1 和表 tt2 的时候，通过检查那个表是最新更新的，那个表就作为新表，而另外的表最为旧表被新表中的数据进行更新。实验数据如下：mysql database 5.1test.tt1( id int primary key , name varchar(50) );mysql.tt2( id int primary key, name varchar(50) );快照表，可以将其存放在test数据库中，同样可以为了简便，可以将其创建为temporary 表类型。数据如图 kettle-1kettl 阅读全文

摘要： 在使用Kettle进行数据同步的时候， 共有1.使用时间戳进行数据增量更新2.使用数据库日志进行数据增量更新3.使用触发器+快照表 进行数据增量更新今天要介绍的是第3中方法。实验的思路是这样的，在进行数据同步的时候，源数据表为A表， A表要对 目标表(target table) B 表和C表进行数据的同步更新。即A表中的对应字段发生变化之后，会通过触发器将对应变化的字段在A表中的主键值写入到一个临时表temp中(该表作为快照表使用)。快照表中只有两个字段，一个是temp_id,是快照表的主键，另一个是 A_id,记录的是在A表中发生变化的字段对应的主键的值。temp( temp_id int 阅读全文