随笔分类 -  ETL专题

摘要：一、数据仓库的架构数据仓库（Data Warehouse DW）是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库，它的数据基于OLTP源系统。数据仓库中的数据是细节的、集成的、面向主题的，以OLAP系统的分析需求为目的。数据仓库的架构模型包括了星型架构（图二：pic2.bmp）与雪花型架构（图三：pic3.bmp）两种模式。如图所示，星型架构的中间为事实表，四周为... 阅读全文

摘要：Microsoft SQL Server 2005 Integration Services (SSIS) 包含日志记录功能，这些功能使您可以通过提供任务和容器事件跟踪来对包执行进行疑难排解和监控。日志记录功能非常灵活，可以在包级别或在包中的各个任务和容器上启用。可以选择要记录的事件，也可以对单个包创建多个日志。 日志记录由日志提供程序提供。每个日志提供程序可以将日志记录信息写入不同的格式和目标类... 阅读全文

摘要：包配置允许您从开发环境的外部设置运行时属性和变量。配置允许您开发灵活的并且易于部署和分发的包。Microsoft SQL Server 2005 Integration Services (SSIS) 提供了以下配置类型： XML 配置文件 环境变量 注册表项 父包变量 SQL... 阅读全文

摘要：在第 1 课：创建简单 ETL 包中，创建了从单个平面文件源提取数据的包，然后使用查找转换功能对数据进行了转换，最后将数据加载到 AdventureWorksDW 示例数据库的 FactCurrency 事实数据表中。 但是，提取、转换和加载 (ETL) 过程很少使用单个平面文件。典型的 ETL 过程从多个平面文件源提取数据。从多个源提取数据需要采用迭代控制流。Microsoft SQ... 阅读全文

摘要：在 Microsoft SQL Server 2005 Integration Services (SSIS) 中创建包的第一步就是创建一个 Integration Services 项目。此项目包含在数据转换解决方案中使用的数据源、数据源视图和包等对象的模板。 创建新的 Integration Services 项目 在“开始”菜单上，依次指向“所有程序”、“Microso... 阅读全文

摘要：ETL学习之四：SQL Server Integration Services入门 SSIS就是微软在SQL SERVER2005上对DTS的升级，不得不说，微软在BI上是花了很大功夫的，包括提供了SSIS,SSAS,SSRS等多个工具，从创建数据仓库，到从元数据抽取数据，到创建维度和挖掘结构，挖掘模型，训练，报表模型设计，报表设计，发布，非常方便和强大。先从ETL开始，看看... 阅读全文

摘要：对于MS SQL-Server的DTS，在使用MS SQL-Server2000时，有最基本的接触，但仅限时简单的数据导入/导出。当开始了解ETL时，才发现DTS原来就是ETL的应用之一。 先不谈论DTS的好坏，但它至少MS产品的特点，易学，易用。所以，要了解ETL的应用，从DTS开始，在我看来，是个不错的选择。我只是学习，所以我没有能耐去评价它，下面，只能讲DTS的功能一一列举出来，可能... 阅读全文

摘要：ETL为数据仓库服务，数据仓库用于数据分析，数据分析属于BI系统的要干的事儿。 一般中/小型ERP系统都会有不成熟的BI系统，为啥叫做不成熟？ 因为它们或者有报表分析功能，但不具有OLAP(在线分析)，或者有OLAP，但却没有数据挖掘和深度分析。或者干脆，来个大集成，直接利用第三方工具来达到相应的目的。 为什么会这样，究其原因，很多情况是因为没有自主的数据仓库，没... 阅读全文

摘要：ETL有时候显得很神秘，其实大部分项目都有用到，只要有报表展示，就是一个ETL过程。 首先，我们来了解最基本的定义： 嗯，也有人将ETL简单称为数据抽取。至少在未学习之前，领导告诉我的是，你需要做一个数据抽取的工具。 其实呢，抽取是ETL中的关键环节，顾名思义，也就将数据从不同的数据源中抓取(复制)出来。 太简单了！ 上面的解释无首无尾，有点象能让... 阅读全文