随笔分类 -  etl 工具

摘要：各企业级ETL工具间的对比目录1. 目标读者2. 介绍2.1 数据整合的市场趋势2.2 企业ETL3. 产品架构3.1 INFORMATICA POWERCENTER3.2 THE WINDOWS SERVER SYSTEM3.2.1 SQL Server Integration Services (SSIS)4. 功能对比4.1 介绍4.1.1 范围4.1.2 应用场景4.2 程序包配置数据登台... 阅读全文

摘要：实现ETL过程，一般可以从以下四个方面考虑： （一）、准备区的运用(ODS) 在构建数据仓库时，如果数据源位于一台服务器上，数据仓库在另一台服务器端，考虑到数据源Server端访问频繁，并且数据量大，需要不断更新，所以可以建立准备区数据库(ODS)。先将数据抽取到准备区中，然后基于准备区中的数据进行处理，这样处理的好处是防止了在原OLTP系统中频繁访问，进行数据运算或聚合等操作。如果系统中存在多种... 阅读全文

摘要：接上面两篇：ETL，Extraction-Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数据仓库的重要环节。 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下，... 阅读全文

摘要：数据集成是当下比较热门的话题，相关的产品和平台也越来越多。很多CIO都在各种数据集成平台和产品之间犹豫不决。因此对数据集成平台的框架体系有全面的理解，对各个厂家产品所提供的功能有深入的认识才能为数据平台选型的决策提供可靠的保证。　　我有幸参与了国内一个知名企业的集成平台的设计工作，并主导了数据集成平台的需求分析和产品选型工作。这次工作中，研究了很多新的技术方向和产品，下面我主要讲一下数据集成领域的... 阅读全文

摘要：据分析系统的总体架构分为四个部分 —— 源系统、数据仓库、多维数据库、客户端。其中，数据仓库（DW）起到了数据大集中的作用。通过数据抽取，把数据从源系统源源不断地抽取出来，可能每天一次，或者每3个小时一次（当然是自动的）。这个过程，我们称之为ETL过程。　　那么，今天，我们就来谈一谈：如何搭建数据仓库，在这个过程中都应该遵循哪些方法和原则；然后介绍一些项目实践中的技巧。　　... 阅读全文