#命名规范：
local==> l
remote==> r
extract==> x
data pump==> p
source Trail==>st
Remote Trail==>rt
--------------------------
#《《源数据库orcl》》
Extract:将重做日志信息抽取存放到本地exttrail文件中
0.开启附加日志功能,开启强制日志模式;强烈建议源端每个涉及复制的表上建立主键或者唯一键
SQL> alter database force logging;
SQL> alter database add supplemental log data; #数据库最小级别开启
SQL> create tablespace ggs datafile size 200M autoextend on;
SQL> create user ggs identified by ggs;
SQL> grant dba to ggs;
GGSCI> add trandata schema.<tablename> #表别级别开启,给需要复制的表添加
GGSCI> info trandata schema.<tablename> #查看附加信息
相关附加日志参数:
注意: 每小时日志量评估
select trunc(completion_time),count(*)*100 size_in_MB from
v$archived_log group by trunc(Completion_time);
1.安装OGG
mkdir /goldengate
tar xf ogg.tar -C /goldengate #ogg.tar为软件名
chown -R oracle:oinstall /goldengate
cat>>/home/oracle/.bash_profile<<'EOF'
export GG_HOME=/goldengate
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH
alias ggsci='ggsci $GG_HOME/ggsci'
EOF
2.创建子目录,编辑MGR
GGSCI>create subdirs
GGSCI>edit param mgr 添加下面端口
port 7809
AUTORESTART ER *, RETRIES 3, WAITMINUTES 5, RESETMINUTES 60
PURGEOLDEXTRACTS /goldengate/dirdat/*,USECHECKPOINTS,MINKEEPHOURS 24 #/goldengate/dirdat/*为抽取日志存放位置
3.定义本地抽取参数文件
GGSCI(Hostname) 1>edit param lxjack
extract lxjack
------------------------------------------------
-- local extract for schema
-- Author: vmsysjack
-- Created Date: 2020-02-10
------------------------------------------------
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK) #和源系统一致select * from v$nls_parameters where parameters like '%NLS_CHARACTERSET%';
USERID ggs@orcl,password ggs #定义连接抽取源的用户名和密码以及tns,orcl为源库的TNS名
ExtTrail dirdat/st #定义抽取重做日志信息存储地点；将会在$GG_HOME/dirdat/下生成st开头文件
Table schema.tablename; #定义需要抽取的“模式.表名”
注意：当密码使用加密方式的时候，需要使用使用encryptkey default
例如： 1. 生成密文
encrypt password ggs encryptkey default
2.将第一步生成的密文应用
userid ggs,password AAAAAAAAAAAAAAAAACCCCCSGSADGSDGWOXCJKLSJL,encryptkey default
4. 创建extract进程
GGSCI(HOSTname) 1> add extract lxjack,threads 2,tranlog,begin now #RAC源需要配置 ,threads 2表示有2个节点,单节点不用加threads 2
GGSCI(Hostname) 2> add exttrail dirdat/st,extract lxjack,megabytes 100 #添加抽取源文件位置和大小
注意:当在操作系统删除了exttrail文件后,启动会报 PROCESS ABENDING,使用下面方法解决
(1). GGSCI>delete exttrail dirdat/st* #我这里是测试环境,只有一个文件
(2). GGSCI>add exttrail dirdat/st,extract lxjack
5. 启动extract进程,验证extract进程
GGSCI(Hostname) 3> start extract lxjack
GGSCI(Hostname) 4> info extract lxjack # l=>local; x=>extract;
GGSCI(Hostname) 5> info extract lxjack,showch
GGSCI(Hostname) 5> info extract lxjack,detail
6. 验证抽取数据
GGSCI(Hostname) 5> stats extract lxjack #再重新开启一个终端，执行DML语句,使用stats extract lxjack查看
注意: 级联更新带来的问题
级联更新的触发器等对象存在,对于目标数据库系统上应该关闭或者禁用掉目标
数据库上的触发器和级别约束;使用如下语句:
SQL> alter table ... disable contraint ...
SQL> alter trigger ... disable ...
或者使用下面语句:需要数据库版本是10.2.0.5或11.2.0.2之后版本
DBOPTIONS suppresstriggers
配置DataPump:
本质上是一个Extract Group，需要参数文件，参数文件名字和这个extract group的组名一样。
参数中需要配置SourceTrail文件在哪里，以及发送的目标系统在哪里
1.定义参数文件
GGSCI(Hostname) 1>edit param lpjack # l=>local; p=>pump
extract lpjack
-------------------------------------------
-- Data Pump extract for schema.tablename
-- Author: vmsysjack
-- Created Date: 2020-02-10
--------------------------------------------
Uerid ggs@orcl,password ggs
PassThru #透传模式，源表和目标数据库表完全一样,源表与目标表不一致的时候需要用NoPassThru
RmtHost 目标主机ip地址,Mgrtort 目标主机mgr进程端口 #定义连接远端主机和端口
RmtTrail dirdat/rt #定义Remote Trail文件的文件名前缀，r=>remote;表示传递到远端的位置
Table schema.tablename; #传递的表名
2. 创建Data Pump进程
GGSCI(Host) 1> add extract lpjack,exttrailsource dirdat/st #定义DataPump进程名，以及需要抽取的源trail文件位置dirdat/st
GGSCI(Host) 2> add rmttrail dirdat/rt,extract lpjack,megabytes 100 #定义增加远程trail文件位置和远程trail文件大小
3. 启动Data Pump进程,验证Data Pump进程,统计抽取进程数据
GGSCI(Host) 3> start extract lpjack
GGSCI(Host) 4> info extract lpjack
GGSCI(Host) 5> stats extract lpjack
##《《目标数据库vmsys》》
0.创建目标数据库需要的表空间和用户
SQL> create tablespace ggt datafile size 200M autoextend on;
SQL> create user ggt identified by ggt;
SQL> grant dba to ggt;
1.创建全局参数文件,登录目标数据库，创建检查点表
注意:检查点表作为事务处理的一部分,可以有更好的恢复能力,有共用和专用两种做法
共用: 所有的replicate共用一个
专用: 每个replicate独立创建一个
GGSCI(Hostname) 1> edit param ./GLOBALS #需要执行GGSCI，在GG_HOME目录下
GGschema ggt #指定存储架构,此行也可以不写
checkpointtable ggt.chkpt #存储在ggt用户模式下
GGSCI(Hostname) 2> dblogin userid ggt@vmsys,password ggt #vmsys为目标数据库网络服务名
2. 从数据库层面检查检查点文件
SQL> show user; --当前还未增加检查点文件
USER is "ggt"
SQL> select table_name from user_tables; --ggt模式下没有表
no rows selected
GGSCI(Hostname) 3> add checkpointtable --增加检查点表文件
GGSCI(Hostname) 4> info checkpointtable
SQL> conn ggt/ggt #ggt为目标数据库创建的用户,即目标数据库登录GGSCI使用的用户
SQL> desc chkpt
SQL> desc chkpt_lox
SQL> show user;
USER is "ggt"
SQL> select table_name from user_tables;
TABLE_NAME
------------------------------
CHKPT_LOX
CHKPT
SQL> desc chkpt_lox;
Name Null? Type
----------------------------------------- -------- ----------------------------
GROUP_NAME NOT NULL VARCHAR2(8)
GROUP_KEY NOT NULL NUMBER(19)
LOG_CMPLT_CSN NOT NULL VARCHAR2(129)
LOG_CMPLT_XIDS_SEQ NOT NULL NUMBER(5)
LOG_CMPLT_XIDS NOT NULL VARCHAR2(2000)
SQL> desc chkpt;
Name Null? Type
----------------------------------------- -------- ----------------------------
GROUP_NAME NOT NULL VARCHAR2(8)
GROUP_KEY NOT NULL NUMBER(19)
SEQNO NUMBER(10)
RBA NOT NULL NUMBER(19)
AUDIT_TS VARCHAR2(29)
CREATE_TS NOT NULL DATE
LAST_UPDATE_TS NOT NULL DATE
CURRENT_DIR NOT NULL VARCHAR2(255)
LOG_CSN VARCHAR2(129)
LOG_XID VARCHAR2(129)
LOG_CMPLT_CSN VARCHAR2(129)
LOG_CMPLT_XIDS VARCHAR2(2000)
VERSION NUMBER(3)
SQL>
注意: replicate级别增加checkpointTable方式:
GGSCI> add replicat rejack,exttrail /goldengate/dirdat/vmsys/rt,checkpointTable ggt,rejackcht
--专有级别创建检查点文件,每个replicat都需要创建一个,各个replicate各自使用; 通过发现这种方式不会自动生成检查表,还是需要手工建立
create table rejack as select * chkpt where 0=1;
create table rejack_lox as select * chkpt where 0=1;
开始数据加载.....
.....
..... 当源表之前有数据的时候,需要通过exp,imp(impdump,expdump)存放到目标中
.....
配置Replicat进程
1. 定义replicat参数文件
GGSCI(Hostname) 1> edit param rejack #e=>replicat
replicat rejack
--------------------------------------------
-- replicat for jack.a
-- author: vmsysjack
-- Created Date: 2020-02-10
--------------------------------------------
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
USERID ggt@vmsys,password ggt #vmsys为目标表的TNS
HandleCollisions #处理冲突的数据,只能在数据初始化期间使用，后续不能使用这个处理冲突
AssumeTargetDefs #源数据表与目标数据库同步的表定义相同时候用此参数,不可以与sourcedefs参数文件同用
Map jack.*,Target jack.*;
2. 创建replicat进程
GGSCI(Hostname) 1> add replicat rejack,exttrail dirdat/rt
3. 启动replicat进程
GGSCI(Hostname) 2> start replicat rejack
4. 查看并验证replicat
GGSCI(Hostname) 3> info replicat rejack
GGSCI(Hostname) 4> stats replicat rejack
===================================================================
一. 表过滤
1. extract端：
Table schema.tablename
2. replicat端：
Map srcSchema.tablename,Target dstSchema.tablename
二. 列过滤： 只用抓取或者只复制指定的列，不是所有的列
1. extract端：
Table schema.tablename COLS(cola,colb.....);
注意： 列过滤不可以使用passthru
2. 使用colsExcept 抓取除了列出来的列之外的所有列
Table schema.tablename colsExcept(colx);
三. 行过滤： 只复制满足条件的行，分为两种类型（Complex和Non-Complex）
1. Non-Complex类型:非复杂类型；只能根据行过滤，支持@present,@absent,@null
1). extract端
Table schema.tablename,where (id<100);
2). replicat端
Map schema.tablename,Target schema.tablename,where (id<100);
2. Complex类型：复杂类型，支持各种GG函数，还可以安装操作类型过滤(filter实现)
for example:
2.1) 发生在id<100记录上的delete操作语句
Map schema.tablename,Target schema.tablename,filter (on delete,id<100);
2.2) 只捕获id<100的记录
Map schema.tablename,Target schema.tablename,filter (id<100);
2.3) 只捕获更新，删除操作，以及id<100的记录
Table schema.tablename,filter (on delete,on update,id>100);
2.4）列Name中有zhang字样的
Table schema.tablename,Filter (@StrFind(name,'zhang')>0)
2.5）函数计算的结果大于120000
Table schema.tablename,Filter (@compute((salary-tax)*12)>120000)
四. 数据映射，既可以在源端进行，也可以在目标端进行
#extract端配置样例1：
extract lxjack
SETENV (ORACLE_SID=orcl)
USERID ggs,PASSWORD ggs
ExtTrail ./dirdat/sx
TranLogOptions ExcludeUser(username)
Table sometable;
#extract端配置样例2：
extract lxjack
SETENV (ORACLE_SID=orcl)
USERID ggs,PASSWORD ggs
ExtTrail ./dirdat/sx
TranLogOptions ExcludeUser(username)
Table src.serviceChange,Target tgt.serviceChareg_DIM, #源表与目标表做映射
colMap(UseDefaults,ID=ServiceChareg_id,modified_at=Timeap); #usedefaults没有明确指出的列在两边都是相同的；需要映射的列需要在usedefaults后面表示出来。
#replicat端配置样例3：
replicat lrlog5
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
SETENV (ORACLE_SID=vmsys)
UserId ggt,password ggt
HandleCollisions
SourceDefs dirdef/smsg_logs.defs #此文件需要定义文件
Map jack.smsg_logs,Target jack.smsg_logs,
ColMap(UseDefaults,owner="zhangsan") #在列映射中给这个列加上一个初始值；每当源表中插入新记录，这个新记录复制到目标数据表后，owner字段会被自动赋值为zhangsan
#replicat端映射配置样例：
1). 当源表与目标表结构一致，在replicat参数文件中使用AssumeTargetDefs参数，代表两端结构一致。
2). 当源表与目标表结构不一致，需要映射,映射语句：
Map schema.tablename,Target schema.tablename,Colmap (UseDefaults,cola=cola);
--------------------------------------------------------------------------------------------------
需要哪一个数据库的数据定义文件，取决于映射操作是在哪里进行的，如果在目标端(replicat)完成映射，需要在源数据库定义文件，然后将生成的文件复制到目标数据库上，最后在replicat参数文件中引用它；
如果在源端(extract)完成映射，就反过来。
1.创建数据定义文件：
GGSCI(Hostname) 1> edit params defgen
DefsFile ./dirdef/rejackt2.defs #用未来要引用这个定义文件的replicat组名字来命名
UserId ggs,Password ggs
Table schema.tablename;
2.将定义文件使用工具生成定义文件：
./defgen paramfile dirtrm/defgen.prm
3.将第二步生成的defgen.prm复制到另外一台机器的$GG_HOME/dirdef文件夹中
4.修改参数
4.1）注释文本-->>AssumeTargetDefs
增加文本-->>SourceDefs dirdef/rejackt2.defs
-----------------------------
colmap(Usedefaults,owner="liulingfeng",ab=) 目标表有一列为空应该将这列写最后
colmap(Usedefaults,ab=,owner="liulingfeng") 目标表一列为空这种写法是错误的
AssumeTargetDefs 当能够通过colmap实现和源结构一致的情况下可以使用此参数,前提要表的结构一致
定义文件用于当源表和目标表不一致的情况下.可以使用.
--------------------------------------------------------------------------
1. 设置Trail文件的删除策略：
将下面的参数写入到Manager进程的参数文件中
PurgeOldExtracts /ggs/dirdat/sa*,
UseCheckpoints, --使用检查点
MinKeepHours 1; --即使检查点确认了删除后，还保留一个小时
FrequencyMinutes 30; --清理动作的频率为30分钟一次
2. 数据压缩
GG提供了数据压缩功能，对于低带宽的网络是有意义的，当设置了压缩，目标端Collector进程会自动的进行解压缩操作，然后写入Remote Trail文件中；数据的最大压缩比例可以达到5:1,默认数据不压缩。
例如：
Extract lpjack
PassThru
RmtHost dstIP,Mgrtort 7809,Compress,CompressThreshold 2048
#compressThreshold 2048 为压缩的最小数据块单位大小
RmtTrail dirdat/rs
Table schema.tablename;
--------------------------------------------------------------------------
1. 执行存储过程
Map source_table,Target target_table,
SQLEXEC (SPNAME spanme,PARAME (in_paraml=cola)),
#SPNAME指定存储过程名字，PARAMS参数定义的是IN参数和列的映射关系
COLMAP (Usedefaults,coln=@GETVAL(spname,out_paramn));
select name,value from v$diag_info; #获取跟踪诊断的相关信息
select * from v$pwfile_users; #获取授予sysdba权限的用户
浙公网安备 33010602011771号