随笔分类 -  11.DTS数据传递系统

数据传递系统
DTS开发记录（10）－－ 可视化的流程编辑
摘要：在将数据从数据源导出到数据目标的过程中，我们通常需要对数据进行一些检查、验证、加工、转换等操作，而这个加工转换的流程可能是非常复杂的，DTS通过可视化的拖拽的方式对数据加工转换流程进行自定义编辑。 下面的一个例子，是将某个市的学生记录表中的数据导出到省的学生记录表中，市数据库使用的是SqlServer，省数据库采用的是Oracle。 左边的工具栏中是不同类型的Filter，它们用于对... 阅读全文
posted @ 2006-11-15 11:31 zhuweisky 阅读(4751) 评论(10) 推荐(1) 编辑
DTS开发记录（9）－－ 数据迁移任务 DataTask
摘要：在DTS开发记录（1）－－系统总体结构 一文中，我们已经看到，一次数据传递任务基于一个连接对和一个数据映射进行。但是之前，我们并没有提到“数据迁移任务”这个元素。随着设计的演化，我们发现一个数据任务已经不再仅仅是一个连接对加上一个数据映射了。现在，我们完全有必要把“数据迁移任务”这个概念抽象的表示出来，称之为DataTask。 有了DataTask，我们的数据引擎就可以修改为基于一个... 阅读全文
posted @ 2006-07-31 17:14 zhuweisky 阅读(2677) 评论(2) 推荐(0) 编辑
DTS开发记录（8）－－ 主键的影响
摘要：对于数据源向同一数据目标导出（我们称之为“数据汇集”）和增量导出来说，对主键的处理也是一个大的挑战。 我先定义一下在本DTS系统中主键（PrimaryKey）的含义：PrimaryKey 表示主键或联合主键，PrimaryKey并不是针对某个数据库表的，而是针对某个特定的DataMapping而言的，它用于在数据迁移过程中来唯一确定数据源或数据目标中每条记录。 所以，本DTS系... 阅读全文
posted @ 2006-07-27 15:53 zhuweisky 阅读(2367) 评论(1) 推荐(0) 编辑
DTS开发记录（7）－－ 灵活的引擎 IAgileEngine
摘要：数据引擎是数据传递系统（DTS）的核心，正如游戏引擎是PC游戏的核心一样。IAgileEngine从目前手上的DTS系统中不断的重构完善出来，虽然IAgileEngine已经不局限于在本DTS系统中使用，但是，我还是打算在这个系列文章中来介绍它。 阅读全文
posted @ 2006-07-20 15:38 zhuweisky 阅读(2860) 评论(3) 推荐(1) 编辑
DTS开发记录（6）－－ 数据映射
摘要：在DTS开发记录（4）－－ 映射列一文中，我们详细的讨论了参与映射的源列和目标列，在拥有了映射列的基本概念的基础上，我们可以讨论数据映射DataMapping了。 数据映射主要由一组映射项（MappingItem）组成，它包含了源数据大纲到目标数据大纲的详细的完整的映射关系。 首先要注意一点，数据映射与数据大纲绑定，但是并不与任何特定的数据库表绑定。这样，DataMapping... 阅读全文
posted @ 2006-07-14 16:36 zhuweisky 阅读(2933) 评论(1) 推荐(1) 编辑
DTS开发记录（5）－－ 挑战增量导出
摘要：增量导出恐怕是DTS系统中最艰难的部分了，我们曾考虑过很多方案，最后都因为需要表大纲做一定的假设而不具备通用性而放弃。有很多效率较高的方案，由于为了追求通用性而无法实现，因为现实的情况比我们理想的要复杂许多。 下面将列举我们曾考虑的几种主要方案，这些方案乍一看似乎都很有希望，可通过层层分析，最后都因为复杂的现实情况而胎死腹中。1.触发器 这是一个非常简单直接的解决方案，我们只需... 阅读全文
posted @ 2006-07-12 09:51 zhuweisky 阅读(3274) 评论(5) 推荐(1) 编辑
DTS开发记录（4）－－ 映射列
摘要：在DTS开发记录（1）－－系统总体结构 一文中，我们介绍到映射列：“参与了数据映射的源列或目标列。注意，并不是所有的列都会参与映射，这是常见的情况。”1.映射列分为：源映射列和目标映射列。 public interface IMappingColumn { string ColumnName { get;set;} } public interfac... 阅读全文
posted @ 2006-07-10 17:08 zhuweisky 阅读(2620) 评论(1) 推荐(1) 编辑
DTS开发记录（3）－－ 连接与连接对
摘要：在 DTS开发记录（2）－－ 数据管道及插件 一文中，我们介绍了数据管道，IDataPipeFactory的CreateDataPipe方法需要一个IConnection参数，这个参数就表示一个连接。 public IDataPipe CreateDataPipe(IConnection conn) IConnection的定义如下： /// /// IConne... 阅读全文
posted @ 2006-07-04 16:37 zhuweisky 阅读(2827) 评论(1) 推荐(1) 编辑
DTS开发记录（2）－－ 数据管道及插件
摘要：通过前面两篇文章（已于2006-07-03修正）的介绍，我们已经大致明白了系统的目标的总体结构，从这篇文章开始，我们将逐渐深入到系统内部。 本文讲述数据管道，数据管道是用于在数据源/数据目标与DataTable之间进行数据传递的组件，它是与数据库类型和文件类型相关的，数据从数据源经过数据管道后，就变成与数据源类型无关的数据了，这样映射编辑和数据引擎便能对它们进行一致的处理。 数... 阅读全文
posted @ 2006-07-03 09:57 zhuweisky 阅读(2431) 评论(1) 推荐(2) 编辑
DTS开发记录（1）－－系统总体结构
摘要：（原文发表于2006-06-28 ，修正于2006-07-03） 在DTS开发记录（序）一文中，我们已经明白了当前这个Data Transfer System的主要目标和存在的难点与挑战。在接下来的一系列的文章中，我将记录我们开发中是如何解决这些难点、如何应付这些挑战的，有的技巧或方案可能还并不成熟，所以如果你有任何想法，请留言告诉我。 本文就先从系统结构讲起。 通过我... 阅读全文
posted @ 2006-06-28 15:54 zhuweisky 阅读(4559) 评论(2) 推荐(0) 编辑
DTS开发记录（序）
摘要：（原文发表于2006-06-27 ，修正于2006-07-03） 目前手头上正在负责一个DTS（这里的DTS是Data Transfer System的缩写）系统的开发，我打算写一系列的文章来记录这个开发的全过程，这个记录可以说是实时的－－每当遇到一个重要问题或解决一个重要问题，我将记录之。侯捷老师说，“发表是最好的记忆”，这一系列的文章除了权作笔记外，也希望能对后来者有所参考。 ... 阅读全文
posted @ 2006-06-27 19:19 zhuweisky 阅读(4983) 评论(5) 推荐(0) 编辑