DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步

1、任务构建

1）构建reader

这里的where条件中添加了id> ${startId} and id<= ${endId}，其中startId和endId 是两个参数

 

 2）构建writer

 

writeMode

模式	说明	行为
insert	默认模式，执行普通的 INSERT INTO 语句。	遇到主键或唯一键冲突，任务报错并记录脏数据。
replace	执行 REPLACE INTO 语句。	遇到冲突时，先删除旧行，再插入新行。需要表的 INSERT 和 DELETE 权限。
update	执行 INSERT INTO ... ON DUPLICATE KEY UPDATE 语句。	遇到冲突时，更新旧行的非主键字段。

 3）字段映射

 字段映射这里原本是不支持手动调整映射关系的，我这里进行了ui调整。

 4)构建

构建的任务名称默认是源端的数据表名称，我这里添加了任务名称，可以进行自定义任务名称。

 2、任务管理

1）任务列表

任务构建成功后，可以在任务管理列表看到添加的任务。

 2）编辑任务

编辑任务

辅助参数我们这里选择主键自增，通过id字段进行增量抽取数据。

增量逐渐开始ID，这里设置为0。

ID增量参数，-DstartId='%s' -DendId='%s'，这里的%s是占位符。

 

 

 3）执行任务

第一次执行

执行之后会更新增量主键开始ID

 

 

第二次执行

 test2的student表通过全量+增量方式成功同步数据。

 

 下一节课将讲解多表join 按照时间增量方式同步数据。