摘要：最近项目上因为遇到数据量过大导致查询统计性能问题（oracle数据库、单表每月1亿多条车辆定位记录，由一个windows环境下的链路服务程序来接收车辆上传的定位数据写入oracle），急需使用大数据架构来解决。前期同事已经提出整体解决思路（修改链路服务程序，在写oracle的基础上同时写入kafka 阅读全文

摘要：最近数据交换项目上需要用到ETL工具，原来一直不太了解，经同事介绍kettle可以很方便地进行数据同步。于是简单试用了一下，实现了从源表到目标表的数据同步（包括增删改）。 我们的需求如下：将业务系统指定表（source表）中的数据，同步到交换平台上相同结构的表（target表）中。不论source表 阅读全文