03 2018 档案

GoldenGate for Java Adapter介绍一(原理篇)
摘要：前言 Oracle Goldengate在很早前就推出了一个for java的版本，主要目的是方便把关系型数据实时写入到不支持的目标端，如JMS或Redis等key value数据库。在Hadoop刚出来的时候，也可以使用ogg for java adapter将数据实时投递到HDFS等平台，只是后来专门推出了一个ogg for bigdata版本，可以不用二次开发，即可将数据实时投递到hb... 阅读全文

posted @ 2018-03-25 21:22 margiex 阅读(1388) 评论(1) 推荐(0)

GoldenGate BR(bounded Recovery)简单说明
摘要：背景Oracle数据库的在线日志包含已提交的和未提交的事务，但OGG只会将已提交的事务写入到队列文件。因此，针对未提交的事务，特别是未提交的长事务，OGG会怎样处理呢？有些长事务是在批处理作业中，需要几个小时才能执行完成，比如晚上跑批的作业。这种情况，OGG会从这些事务一执行就开始读取在线日志，但这些事务可能会持续很久，从而在线日志也会切换到归档日志中，这期间也可能会有其它事务在执行和提交，如果长... 阅读全文

posted @ 2018-03-18 20:02 margiex 阅读(651) 评论(0) 推荐(0)

GoldenGate12.3中新增的Parallel Replicat (PR)介绍
摘要：Parallel Replicat介绍 在OGG 12.3.0.1中新增的一项特性parallel replicat(并行投递），相对于传统的投递和集成投递(integrated replicat)，在性能上又有了进一步提升。（需要使用oracle db 12.2及以上版本才支持并行投递）目标端采用多个mapper和线程，在确保事务一致的情况下，更大程度的性能提高。如下图所示：如上可以看到，... 阅读全文

posted @ 2018-03-11 11:54 margiex 阅读(1596) 评论(0) 推荐(0)

GoldenGate实时投递数据到大数据平台（7）– Apache Hbase
摘要：Apache Hbase安装及运行安装hbase1.4，确保在这之前hadoop是正常运行的。设置相应的环境变量，export HADOOP_HOME=/u01/hadoopexport HBASE_HOME=/u01/hbaseexport PATH=$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin启动hbase./start-hbase.sh确保hadoop, hb... 阅读全文

posted @ 2018-03-06 10:39 margiex 阅读(463) 评论(0) 推荐(0)

使用隐含参数testMappingSpeed排查GoldenGate抽取慢的步骤
摘要：OGG经典抽取模式读取redo慢的检查步骤，可以采用以下几个步骤来排查。步骤一，确认是否抽取进程的写入有问题1. 在原有抽取进程上，执行如下命令，统计抽取进程的效率GGSCI> stats extract , totalsonly *, reportrate secGGSCI> stats extract , totalsonly *, reportrate min2. 拷贝该进程的参数为另一个参... 阅读全文

posted @ 2018-03-05 08:37 margiex 阅读(913) 评论(0) 推荐(0)