定时导入数据

需求场景

能够通过工具长期定时将指定数据源的数据导入到MySQL数据库中。客户数据源可能是csv，xml等格式化文件或数据库。

初步分析

需要找到合适的工具来处理数据映射、处理和导入任务，需要记录异常数据和生成导入日志。因为不是做数据集成平台，找满足需求的开源工具即可。

解决方案

1.工具：Talend Open Studio for Data Integration 5.6
*软件许可证: Apache License v2
*Sourceforge下载链接：http://sourceforge.net/projects/talend-studio/files/Talend%20Open%20Studio/

2.启动TalendOS DI后安装第三方插件。

3.利用自带的component在工具里配置数据源、映射数据字段、处理数据细节和测试导入任务。

       

4.确认导入任务能够单次执行成功后，执行"Build Job"，将任务打包并导出。利用操作系统Task Scheduler，将该导出的任务创建为定时执行任务。

 

参考链接：
Data Migration, ETL, Data integration tool comparison

Talend open source data management tool tutorials