摘要: 一,数据流设计优化 数据流有两个特性:流和在内存缓冲区中处理数据,根据数据流的这两个特性,对数据流进行优化。 1,流,同时对数据进行提取,转换和加载操作 流,就是在source提取数据时,转换组件处理数据,同时destination加载数据,数据在不同组件之间,同时被处理。 所有的RDBMS操作都是 阅读全文
posted @ 2016-05-20 20:12 悦光阴 阅读(1059) 评论(0) 推荐(0) 编辑
摘要: Data Profiling Task 是用于收集数据的Metadata的Task,在使用ETL处理数据之前,应该首先检查数据质量,对数据进行分析,这将对Table Schema的设计结构和生成ETL的方式产生不可估量的影响。 Data Profiling Task 输出XML格式的数据文件,并能通 阅读全文
posted @ 2016-05-20 11:28 悦光阴 阅读(1066) 评论(0) 推荐(0) 编辑