2018年2月12日

摘要: 如果需要同步系统级别的过程和package,则需要满足以下条件:要求使用OGG12.3及以后的版本需要使用oracle db12.2及以后的版本需要使用集成抽取和集成投递在DBA_GG_SUPPORTED_PACKAGES 和 DBA_GG_SUPPORTED_PROCEDURES 系统视图中可以看到当前支持哪些过程和package可以复制以下是一些可以被复制的package:DBMS_AQDBM...阅读全文
posted @ 2018-02-12 11:09 margiex 阅读(1) 评论(0) 编辑

2018年2月3日

摘要: 在使用OGG开始增量数据的实时复制之前,一般需要对当前的存量数据进行初始化,如果是同构数据库,则可以使用数据库自带的工具完成,比如Oracle DB中的rman, expdp/impdp等。其实ogg自己也可以实现初始化,而且支持异构平台的初始化,即使用OGG同步不同DB之间的存量数据。主要有两种配置方式,一种是抽取存量数据为OGG的队列文件,然后在目标节点上再读取此队列文件后加载到目标库上;一种...阅读全文
posted @ 2018-02-03 21:50 margiex 阅读(13) 评论(0) 编辑

2018年1月29日

摘要: 针对当前新出的ogg microservice architect(MA),现在只支持oracle 11g/12c的数据复制和投递。如果有其它版本的oracle或其它数据库,比如 mysql, db2, sqlserver等,则只能使用传统的OGG进行抽取或投递。但是你仍然可以在其它版本的OGG与MA架构进行数据通信,比如从其它版本的OGG抽取数据投递到MA的receiver server...阅读全文
posted @ 2018-01-29 15:20 margiex 阅读(6) 评论(0) 编辑

2018年1月20日

摘要: 通过goldengate,可以实现目标表和源表不同结构之间的实时复制,包括记录源系统所有表的变更操作,供ETL或其它审计系统使用。记录信息包括表名、操作时间、操作SCN,事务标记,操作类型到一个流水表。用于后续ETL处理过程中的按序处理。创建日志记录表 create table odi.odi_trans (id int primary key, tb_name varchar(100), com...阅读全文
posted @ 2018-01-20 22:21 margiex 阅读(8) 评论(0) 编辑

2018年1月15日

摘要: Oracle GoldenGate是Oracle公司的实时数据复制软件,支持关系型数据库和多种大数据平台。从GoldenGate 12.2开始,GoldenGate支持直接投递数据到Kafka等平台,而不用通过Java二次开发。在数据复制过程中,GoldenGate充当Kafka Producer的角色,从关系 型数据库解析增量数据,再实时往Kafka平台写入。当前最新的GoldenGate版本是...阅读全文
posted @ 2018-01-15 11:14 margiex 阅读(39) 评论(0) 编辑

2018年1月11日

摘要: linux下安装12c重启linux之后,dbcaPDB/CDB使用SQL> select instance_name from v$instance;INSTANCE_NAME------------------------------------------------GORCLSQL> alter pluggable database p_orcl open;Pluggable databa...阅读全文
posted @ 2018-01-11 15:15 margiex 阅读(21) 评论(0) 编辑

2018年1月4日

摘要: ES 2.xES 2.x安装下载elasticSearch 2.4.5, https://www.elastic.co/downloads/elasticsearch解压下载后的压缩包,启动ES./elasticsearch [2017-12-26 11:46:31,662][INFO ][node ] [Doctor Dorcas] version[2.4.5], pid[4424], buil...阅读全文
posted @ 2018-01-04 13:05 margiex 阅读(8) 评论(0) 编辑

2018年1月2日

摘要: Apache Flume Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合,最后存储到一个中心化数据存储系统中,方便进行数据分析。事实上flume也可以收集其他信息,不仅限于日志。包括端口数据、JMS、命令行等输出数据。架构Flume主要的组件包括source(数据源),数据中间存储(channel),sink数据目标存储。可实现多种拓扑架构...阅读全文
posted @ 2018-01-02 10:39 margiex 阅读(18) 评论(0) 编辑

2017年12月27日

摘要: 简介GoldenGate是一款可以实时投递数据到大数据平台的软件,针对apache cassandra,经过简单配置,即可实现从关系型数据将增量数据实时投递到Cassandra,以下介绍配置过程。Cassandra安装解压apache-cassandra-3.11.1-bin.tar.gz到 /opt/cassandrasudo mkdir /var/lib/cassandrasudo mkdir...阅读全文
posted @ 2017-12-27 11:23 margiex 阅读(20) 评论(0) 编辑

2017年12月23日

摘要: OGG 12.3 MA中最大的变化就是使用了restful api,在前面介绍的各个服务模块,其实就是引用restful api开发而来,这些API同时也提供对外的集成接口,详细接口可参考:http://docs.oracle.com/goldengate/c1230/gg-winux/OGGRA/QuickStart.html服务分类 从上面可以看出,主要按服务模块分类,各服务模块又根据包含的...阅读全文
posted @ 2017-12-23 21:46 margiex 阅读(38) 评论(0) 编辑