摘要：公司内部的大数据架构师提出的架构中，分为两层。 第一层叫数据湖，基本原则按照数据源格式存储所有数据。第二层叫Data Hub，存储加工处理后的数据。供应用层是应用。 数据湖内部又可以分为三个层： 第一层： 原始数据层，这个层是个临时数据存储层，只是临时存储从数据源采集的数据。转入下一层后，就被删除了 阅读全文

摘要：问题： 生产过程数据主要存放在MES系统中，例如订单的最新生产情况，产量数据，问题Lot情况等。对于大数据分析，业务部门希望可以基于及时的数据进行分析展示。 但是MES系统的数据不仅包含仅有insert的历史数据表，同时有很多包含Insert/Update/Delete的事务表。如何将这些数据加载到 阅读全文