Talend 抽取增量数据

最近在做一个考勤报表的开发，关联的表已达到18个之多，查询一次数据是贼慢，想着把其中的子查询写死吧，是在太慢了，闹心。

根据需求字段，我只需要用到某表中的四个字段，其中有一个字段是由三个字段通过stuff函数合成（stuff函数在Talend里面出了点问题）折腾了良久，有了点眉目了

1、使用Talend将原始表中的数据增量抽入数仓

 a.创建数据连接

 

 b.创建任务

 

 c.打开任务窗口

 

 

 2、任务详解

teven组件是我数仓的一个数据表，是目的数据表，TEVEN组件是源数据表，数据的走向就是想把源数据中的某些数据抽取到目的数据表中，tSetglobalVar_1

是全局变量组件，表示一个变量，tJava_1是打印组件用来显示出变量的结果

3、确保两边的数据类型一致

 

4、在目的数据表中任意插入一条数据，只要时间格式为yyyy-mm-dd即可,（抽取完数据删掉此数据即可，因为我只需要里面的一个时间数据）

上图任务栏中各组件遵循一定的逻辑顺序，执行完成以后会出现如下

 

 最后展示框中出现 data truncation是因为stuff 函数在sql 语法中的BUG，这里没有处理好，虽然不影响数据的输出