2018年4月15日

摘要: 软件下载地址 http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html 下载基于MicroService的介质后解压 创建 response file 以下是一个示例 $ more response/og阅读全文
posted @ 2018-04-15 11:10 margiex 阅读(11) 评论(0) 编辑

2018年4月8日

摘要: 在一个测试中,通过普通的pump进程将数据写入远端主机,启动pump进程之后进程abended。查看进程日志,提示:2018-04-07 13:26:21 ERROR OGG-25127 Received an error reply requesting a graceful shutdown. (Reply received is 'GSOutput file /u01/app/ora...阅读全文
posted @ 2018-04-08 23:32 margiex 阅读(24) 评论(0) 编辑

2018年4月1日

摘要: ConnectionFactory } DriverClassConnectionFactory } OGG接口实现类SimpleJDBCHandler TestMariadb }阅读全文
posted @ 2018-04-01 22:04 margiex 阅读(28) 评论(2) 编辑

2018年3月25日

摘要: 前言 Oracle Goldengate在很早前就推出了一个for java的版本,主要目的是方便把关系型数据实时写入到不支持的目标端,如JMS或Redis等key value数据库。在Hadoop刚出来的时候,也可以使用ogg for java adapter将数据实时投递到HDFS等平台,只是后来专门推出了一个ogg for bigdata版本,可以不用二次开发,即可将数据实时投递到hb...阅读全文
posted @ 2018-03-25 21:22 margiex 阅读(26) 评论(0) 编辑

2018年3月18日

摘要: 背景Oracle数据库的在线日志包含已提交的和未提交的事务,但OGG只会将已提交的事务写入到队列文件。因此,针对未提交的事务,特别是未提交的长事务,OGG会怎样处理呢?有些长事务是在批处理作业中,需要几个小时才能执行完成,比如晚上跑批的作业。这种情况,OGG会从这些事务一执行就开始读取在线日志,但这些事务可能会持续很久,从而在线日志也会切换到归档日志中,这期间也可能会有其它事务在执行和提交,如果长...阅读全文
posted @ 2018-03-18 20:02 margiex 阅读(13) 评论(0) 编辑

2018年3月11日

摘要: Parallel Replicat介绍 在OGG 12.3.0.1中新增的一项特性parallel replicat(并行投递),相对于传统的投递和集成投递(integrated replicat),在性能上又有了进一步提升。(需要使用oracle db 12.2及以上版本才支持并行投递)目标端采用多个mapper和线程,在确保事务一致的情况下,更大程度的性能提高。如下图所示:如上可以看到,...阅读全文
posted @ 2018-03-11 11:54 margiex 阅读(15) 评论(0) 编辑

2018年3月6日

摘要: Apache Hbase安装及运行安装hbase1.4,确保在这之前hadoop是正常运行的。设置相应的环境变量,export HADOOP_HOME=/u01/hadoopexport HBASE_HOME=/u01/hbaseexport PATH=$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin启动hbase./start-hbase.sh确保hadoop, hb...阅读全文
posted @ 2018-03-06 10:39 margiex 阅读(14) 评论(0) 编辑

2018年3月5日

摘要: OGG经典抽取模式读取redo慢的检查步骤,可以采用以下几个步骤来排查。步骤一,确认是否抽取进程的写入有问题1. 在原有抽取进程上,执行如下命令,统计抽取进程的效率GGSCI> stats extract , totalsonly *, reportrate secGGSCI> stats extract , totalsonly *, reportrate min2. 拷贝该进程的参数为另一个参...阅读全文
posted @ 2018-03-05 08:37 margiex 阅读(28) 评论(0) 编辑

2018年2月27日

摘要: GoldenGate可以实时将RDBMS的数据投递到HDFS中,在前面的文章中,已经配置过投递到kafka, mongodb等数据平台,本文通过OGG for bigdata的介质中自带的示例演示实时将数据写入到HDFS文件系统。安装hadoop安装hadoop3.0.0,设置相应的环境变量export HADOOP_HOME=/u01/hadoopexport PATH=$PATH:$H...阅读全文
posted @ 2018-02-27 17:21 margiex 阅读(17) 评论(0) 编辑

2018年2月12日

摘要: 如果需要同步系统级别的过程和package,则需要满足以下条件:要求使用OGG12.3及以后的版本需要使用oracle db12.2及以后的版本需要使用集成抽取和集成投递在DBA_GG_SUPPORTED_PACKAGES 和 DBA_GG_SUPPORTED_PROCEDURES 系统视图中可以看到当前支持哪些过程和package可以复制以下是一些可以被复制的package:DBMS_AQDBM...阅读全文
posted @ 2018-02-12 11:09 margiex 阅读(15) 评论(0) 编辑