Practice makes better

摘要： Apache Hbase安装及运行安装hbase1.4，确保在这之前hadoop是正常运行的。设置相应的环境变量，export HADOOP_HOME=/u01/hadoopexport HBASE_HOME=/u01/hbaseexport PATH=$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin启动hbase./start-hbase.sh确保hadoop, hb... 阅读全文

摘要： OGG经典抽取模式读取redo慢的检查步骤，可以采用以下几个步骤来排查。步骤一，确认是否抽取进程的写入有问题1. 在原有抽取进程上，执行如下命令，统计抽取进程的效率GGSCI> stats extract , totalsonly *, reportrate secGGSCI> stats extract , totalsonly *, reportrate min2. 拷贝该进程的参数为另一个参... 阅读全文

摘要： GoldenGate可以实时将RDBMS的数据投递到HDFS中，在前面的文章中，已经配置过投递到kafka, mongodb等数据平台，本文通过OGG for bigdata的介质中自带的示例演示实时将数据写入到HDFS文件系统。安装hadoop安装hadoop3.0.0，设置相应的环境变量export HADOOP_HOME=/u01/hadoopexport PATH=$PATH:$H... 阅读全文

摘要： 如果需要同步系统级别的过程和package，则需要满足以下条件：要求使用OGG12.3及以后的版本需要使用oracle db12.2及以后的版本需要使用集成抽取和集成投递在DBA_GG_SUPPORTED_PACKAGES 和 DBA_GG_SUPPORTED_PROCEDURES 系统视图中可以看到当前支持哪些过程和package可以复制以下是一些可以被复制的package:DBMS_AQDBM... 阅读全文

摘要： 在使用OGG开始增量数据的实时复制之前，一般需要对当前的存量数据进行初始化，如果是同构数据库，则可以使用数据库自带的工具完成，比如Oracle DB中的rman, expdp/impdp等。其实ogg自己也可以实现初始化，而且支持异构平台的初始化，即使用OGG同步不同DB之间的存量数据。主要有两种配置方式，一种是抽取存量数据为OGG的队列文件，然后在目标节点上再读取此队列文件后加载到目标库上；一种... 阅读全文

摘要： 针对当前新出的ogg microservice architect(MA)，现在只支持oracle 11g/12c的数据复制和投递。如果有其它版本的oracle或其它数据库，比如 mysql, db2, sqlserver等，则只能使用传统的OGG进行抽取或投递。但是你仍然可以在其它版本的OGG与MA架构进行数据通信，比如从其它版本的OGG抽取数据投递到MA的receiver server... 阅读全文

摘要： 通过goldengate，可以实现目标表和源表不同结构之间的实时复制，包括记录源系统所有表的变更操作，供ETL或其它审计系统使用。记录信息包括表名、操作时间、操作SCN，事务标记，操作类型到一个流水表。用于后续ETL处理过程中的按序处理。创建日志记录表 create table odi.odi_trans (id int primary key, tb_name varchar(100), com... 阅读全文

摘要： Oracle GoldenGate是Oracle公司的实时数据复制软件，支持关系型数据库和多种大数据平台。从GoldenGate 12.2开始，GoldenGate支持直接投递数据到Kafka等平台，而不用通过Java二次开发。在数据复制过程中，GoldenGate充当Kafka Producer的角色，从关系 型数据库解析增量数据，再实时往Kafka平台写入。当前最新的GoldenGate版本是... 阅读全文

摘要： linux下安装12c重启linux之后，dbcaPDB/CDB使用SQL> select instance_name from v$instance;INSTANCE_NAME------------------------------------------------GORCLSQL> alter pluggable database p_orcl open;Pluggable databa... 阅读全文

摘要： ES 2.xES 2.x安装下载elasticSearch 2.4.5, https://www.elastic.co/downloads/elasticsearch解压下载后的压缩包，启动ES./elasticsearch [2017-12-26 11:46:31,662][INFO ][node ] [Doctor Dorcas] version[2.4.5], pid[4424], buil... 阅读全文