12 2017 档案

GoldenGate实时投递数据到大数据平台(2)- Cassandra
摘要:简介GoldenGate是一款可以实时投递数据到大数据平台的软件,针对apache cassandra,经过简单配置,即可实现从关系型数据将增量数据实时投递到Cassandra,以下介绍配置过程。Cassandra安装解压apache-cassandra-3.11.1-bin.tar.gz到 /opt/cassandrasudo mkdir /var/lib/cassandrasudo mkdir... 阅读全文

posted @ 2017-12-27 11:23 margiex 阅读(674) 评论(0) 推荐(0)

GoldenGate 12.3 MA架构介绍系列(4)–Restful API介绍
摘要:OGG 12.3 MA中最大的变化就是使用了restful api,在前面介绍的各个服务模块,其实就是引用restful api开发而来,这些API同时也提供对外的集成接口,详细接口可参考:http://docs.oracle.com/goldengate/c1230/gg-winux/OGGRA/QuickStart.html服务分类 从上面可以看出,主要按服务模块分类,各服务模块又根据包含的... 阅读全文

posted @ 2017-12-23 21:46 margiex 阅读(1757) 评论(1) 推荐(0)

GoldenGate 12.3 MA架构介绍系列(3) - 各功能模块介绍
摘要:在新版的ogg 12.3 microservice architect中,提供了4个不同的服务模块和命令行模块。Admin Server: 负责连接用户、trandata, checkpoint的添加和管理,负责抽取、投递进程的添加;Distribution Server: 负责添加传输进程,即从抽取进程读取数据后,传输到下一个节点,与以前版本相比,主要添加了对WS(web socket), WS... 阅读全文

posted @ 2017-12-23 18:27 margiex 阅读(1427) 评论(3) 推荐(0)

GoldenGate实时投递数据到大数据平台(1)-MongoDB
摘要:mongodb安装安装linux下可使用apt-get install mongodb-server 或 yum install mongodb-server 进行安装。也可以在windows上安装mongodb,只要网络连通,数据就可以从关系型数据库投递到mongodb。详细安装文档可网络搜索。启动mongodb先创建一个数据目录mkdir /opt/mongodb-data然后启动DB服务, ... 阅读全文

posted @ 2017-12-21 09:25 margiex 阅读(1888) 评论(4) 推荐(0)

GoldenGate 12.3 MA架构介绍系列(2) - 数据同步测试
摘要:安装配置可参考上一篇:http://www.cnblogs.com/margiex/p/8071957.html安装完成之后,会自动启动ServiceManager服务,此时,可以通过浏览器访问。如果未启动,则使用如下命令启动# service OracleGoldenGate restart配置步骤概述使用ogg MA架构实现数据同步的主要步骤创建源端credential创建目标端credent... 阅读全文

posted @ 2017-12-20 09:04 margiex 阅读(1350) 评论(4) 推荐(0)

GoldenGate 12.3 MA架构介绍系列(1) - 安装
摘要:注册ServiceManager为自启动服务。 Admin server: 用于创建用户、添加附加日志、创建抽取和投递进程,类似于以前的extract/replicat进程Distribution server:用于创建传输进程,类似于以前的extract 进程Receiver server:用于监 阅读全文

posted @ 2017-12-20 07:46 margiex 阅读(2357) 评论(0) 推荐(0)

关于集成抽取进程重启后的现象分析
摘要:当执行一个大的事务或数据量比较大时,停止集成抽取进程ex1,发现不能停止,然后直接kill,此时,再start ex1,发现ex1是running状态,但checkpoint lag一直在增加,也获取不到SCN。然后再kill ex1, alter ex1, begin now,start ex1, info ex1查看之后,仍然是相同的情况。GGSCI (WIN7ora as src_ogg@o... 阅读全文

posted @ 2017-12-18 09:12 margiex 阅读(1446) 评论(0) 推荐(0)