关系型数据库的数据采集

问题： 生产过程数据主要存放在MES系统中，例如订单的最新生产情况，产量数据，问题Lot情况等。对于大数据分析，业务部门希望可以基于及时的数据进行分析展示。

但是MES系统的数据不仅包含仅有insert的历史数据表，同时有很多包含Insert/Update/Delete的事务表。如何将这些数据加载到大数据平台？

方案一：

分两种情况处理，

1. 对于那些只有inert的历史数据表，按照批处理方式，定时转入到data_lake中的raw layer和certfiied layer

2. 对于那些实时会变的数据表，按照实时方式处理，直接进入到Data_Hub

 

方案二：

 

NIFI -  流行的数据采集工具