摘要: 在Oracle Tenical Network(OTN)上已经可以下载到最新的ogg4bd版本,地址如下:http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html新增加的特性如下:支持以Cassandra为源从ogg4bd 12.3.2.1开始,GoldenGate可以从NoSQL存储中读取数据,在这个...阅读全文
posted @ 2018-05-20 12:11 margiex 阅读(3) 评论(0) 编辑
摘要: Oracle GoldenGate不仅可以在线实时同步数据(包括增量和存量),也内置有一套事件触发流程,允许用户根据某张表某条记录的某个特殊字段值,触发相应的自定义执行流程,比如接收到某个银行账号的大笔转账金额之后,触发一条报警信息,或者根据某条记录,自动停止目标端的投递进程。 基于变更记录触发事件的设置,如果是源端抽取进程,则在Table语句的Filter或Where中定义,如果是...阅读全文
posted @ 2018-05-14 07:22 margiex 阅读(2) 评论(0) 编辑
摘要: 前言 Docker最近几年异常火爆,主要是因为其方便、快捷、轻量,相对于VM,它不需要占用太多资源,随时可以创建、删除,或在已有image上添加一些软件,再制作成另一个模板image供日后使用。Docker提供的Hub或private registry功能,也极大的方便了日常测试环境的配置和使用,类似于手机应用商店,可以按需下载,帮助企业在很短的时候内部署多个不同的DB环境,如Windows...阅读全文
posted @ 2018-05-06 19:05 margiex 阅读(16) 评论(0) 编辑
摘要: GoldenGate抽取Informix数据库安装及配置本次测试架构l 在中间机上安装informix csdk4.10版本,并编译配置unixODBC; l 在中间机上安装ogg for Informix 12.2,负责抽取informix主机的数据;l 在目标端oracle节点 上安装ogg for oracle 12.2,负责接收增量数据并写入到oracle db. 安装配置 源端...阅读全文
posted @ 2018-04-29 10:32 margiex 阅读(13) 评论(0) 编辑
摘要: 使用OGG中的SQLEXEC参数,可以执行SQL语句或存储过程,再加上@GETVAL函数,可以在目标端获取源表没有的字段值。比如,源端有一个事实表和一个代码表COUNTRY_CODES,代码表中有两个字段:country_name 和 country_id,事实表即customers表,里面只有country_id字段。我们希望在目标端的customers中,增加一列country_name字段,...阅读全文
posted @ 2018-04-22 23:45 margiex 阅读(12) 评论(0) 编辑
摘要: 软件下载地址 http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html 下载基于MicroService的介质后解压 创建 response file 以下是一个示例 $ more response/og阅读全文
posted @ 2018-04-15 11:10 margiex 阅读(42) 评论(0) 编辑
摘要: 在一个测试中,通过普通的pump进程将数据写入远端主机,启动pump进程之后进程abended。查看进程日志,提示:2018-04-07 13:26:21 ERROR OGG-25127 Received an error reply requesting a graceful shutdown. (Reply received is 'GSOutput file /u01/app/ora...阅读全文
posted @ 2018-04-08 23:32 margiex 阅读(69) 评论(0) 编辑
摘要: ConnectionFactory } DriverClassConnectionFactory } OGG接口实现类SimpleJDBCHandler TestMariadb }阅读全文
posted @ 2018-04-01 22:04 margiex 阅读(42) 评论(2) 编辑
摘要: 前言 Oracle Goldengate在很早前就推出了一个for java的版本,主要目的是方便把关系型数据实时写入到不支持的目标端,如JMS或Redis等key value数据库。在Hadoop刚出来的时候,也可以使用ogg for java adapter将数据实时投递到HDFS等平台,只是后来专门推出了一个ogg for bigdata版本,可以不用二次开发,即可将数据实时投递到hb...阅读全文
posted @ 2018-03-25 21:22 margiex 阅读(37) 评论(0) 编辑
摘要: 背景Oracle数据库的在线日志包含已提交的和未提交的事务,但OGG只会将已提交的事务写入到队列文件。因此,针对未提交的事务,特别是未提交的长事务,OGG会怎样处理呢?有些长事务是在批处理作业中,需要几个小时才能执行完成,比如晚上跑批的作业。这种情况,OGG会从这些事务一执行就开始读取在线日志,但这些事务可能会持续很久,从而在线日志也会切换到归档日志中,这期间也可能会有其它事务在执行和提交,如果长...阅读全文
posted @ 2018-03-18 20:02 margiex 阅读(16) 评论(0) 编辑