摘要: ETL(Extract Transform Load的缩写,即数据抽取、转换、装载的过程)作为DW的核心和灵魂,能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图,数据是砖瓦的话,那么ETL就 阅读全文
posted @ 2020-01-11 09:22 星朝 阅读(2105) 评论(0) 推荐(0) 编辑
摘要: 比较维度\产品DataPipelinekettleOracle GoldengateinformaticatalendDataX 设计及架构 适用场景 主要用于各类数据融合、数据交换场景,专为超大数据量、高度复杂的数据链路设计的灵活、可扩展的数据交换平台 面向数据仓库建模传统ETL工具 主要用于数据 阅读全文
posted @ 2020-01-11 09:20 星朝 阅读(2715) 评论(0) 推荐(0) 编辑
摘要: 1、触发器方式 触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求,在要被抽取的源表上建立插入、修改、删除3个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个增量日志表,ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据,同时增量日志表中抽取过的数据要及时被 阅读全文
posted @ 2020-01-11 09:16 星朝 阅读(1452) 评论(0) 推荐(0) 编辑