03 2010 档案
摘要: 本系列第二和第三篇文章演示了同步CDC和异步HotLog CDC的实现,这两种模式都是在source database中捕获增量数据,所以配置只涉及到一个数据库,相对来说比较简单。而异步CDC的另外两种模式:Distributed HotLog和AutoLog,需要分别配置source database和staging datase,捕获增量数据主要是在staging database中执行,以尽...阅读全文
摘要: 本文主要是通过一个实际的例子演示异步HotLog模式CDC的实现步骤。关于CDC的概念和模式介绍,请参考关于Change Data Capture(一)一.版本SYS@ning>select * from v$version;BANNER----------------------------------------------------------------------Oracle Database 10g Enterprise Edition Release 10.2.0.3.0 - ProdPL/SQL Release 10.2.0.3.0 - ProductionCORE 1阅读全文
摘要: 一、概述 CDC(Change Data Capture)是oracle在数据库级别实现的增量抽取解决方案。在一般的ETL过程中,对于增量抽取,无非是在数据上加时间截,全记录比对,关键字段比对,日志分析抽取等几种方法,要么需要修改原表结构,要么需要大量的算法,要么借助第三方的工具实现。Oracle从9i开始引入的CDC特性,使得有机会在数据库层面上直接实现增量抽取功能,在性能方面由于和数据库引擎的直接集成,比第三方工具应该具有一定的优势。CDC有两个模式:同步和异步。两种模式的实现机制是截然不同的。同步CDC主要是采用触发器记录新增数据,基本能够做到实时增量抽取。而异步CDC则是通过分析已经c阅读全文
摘要: 在关于Change Data Capture(一)中介绍了CDC的一些基本概念和类型。这篇文章主要是通过一个实际的例子来演示实现同步模式的CDC的基本步骤。一.版本SYS@ning>select * from v$version;BANNER-------------------------------------------------------------------------Ora...阅读全文
摘要: 使用 PDI 和 Oracle CDC 来实现Oracle 数据库向其他数据库的数据同步关键字: 数据交换 本文讲述如何利用 Oracle CDC 和 PDI 来实现 Oracle 数据库向其他数据源的数据同步。第一节 介绍Oracle CDC,如果您熟悉 Oracle CDC 可以跳过该节。第二节 说明如何配置 PDI 里的 Oracle CDC 输入和 Oracle CDC 输出 插件。第一节...阅读全文
摘要: 下面运用Performing Synchronous Publishing的方式实现Change Data Capture。为了实现同步捕获改变数据,publisher必须用预定义的change source, SYNC_SOURCE。publisher可以自行定义新的change sets ,也可以用预定义的change sets,SYNC_SET。如果使用预定于的change sets,可以直...阅读全文

