Practice makes better

摘要： Apache Flume Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合，最后存储到一个中心化数据存储系统中,方便进行数据分析。事实上flume也可以收集其他信息，不仅限于日志。包括端口数据、JMS、命令行等输出数据。架构Flume主要的组件包括source（数据源），数据中间存储（channel），sink数据目标存储。可实现多种拓扑架构... 阅读全文

摘要： 简介GoldenGate是一款可以实时投递数据到大数据平台的软件，针对apache cassandra，经过简单配置，即可实现从关系型数据将增量数据实时投递到Cassandra，以下介绍配置过程。Cassandra安装解压apache-cassandra-3.11.1-bin.tar.gz到 /opt/cassandrasudo mkdir /var/lib/cassandrasudo mkdir... 阅读全文

摘要： OGG 12.3 MA中最大的变化就是使用了restful api，在前面介绍的各个服务模块，其实就是引用restful api开发而来，这些API同时也提供对外的集成接口，详细接口可参考：http://docs.oracle.com/goldengate/c1230/gg-winux/OGGRA/QuickStart.html服务分类 从上面可以看出，主要按服务模块分类，各服务模块又根据包含的... 阅读全文

摘要： 在新版的ogg 12.3 microservice architect中，提供了4个不同的服务模块和命令行模块。Admin Server: 负责连接用户、trandata, checkpoint的添加和管理，负责抽取、投递进程的添加；Distribution Server: 负责添加传输进程，即从抽取进程读取数据后，传输到下一个节点，与以前版本相比，主要添加了对WS(web socket), WS... 阅读全文

摘要： mongodb安装安装linux下可使用apt-get install mongodb-server 或 yum install mongodb-server 进行安装。也可以在windows上安装mongodb，只要网络连通，数据就可以从关系型数据库投递到mongodb。详细安装文档可网络搜索。启动mongodb先创建一个数据目录mkdir /opt/mongodb-data然后启动DB服务, ... 阅读全文

摘要： 安装配置可参考上一篇：http://www.cnblogs.com/margiex/p/8071957.html安装完成之后，会自动启动ServiceManager服务，此时，可以通过浏览器访问。如果未启动，则使用如下命令启动# service OracleGoldenGate restart配置步骤概述使用ogg MA架构实现数据同步的主要步骤创建源端credential创建目标端credent... 阅读全文

摘要： 注册ServiceManager为自启动服务。 Admin server: 用于创建用户、添加附加日志、创建抽取和投递进程，类似于以前的extract/replicat进程Distribution server：用于创建传输进程，类似于以前的extract 进程Receiver server：用于监 阅读全文

摘要： 当执行一个大的事务或数据量比较大时，停止集成抽取进程ex1，发现不能停止，然后直接kill，此时，再start ex1，发现ex1是running状态，但checkpoint lag一直在增加，也获取不到SCN。然后再kill ex1, alter ex1, begin now,start ex1, info ex1查看之后，仍然是相同的情况。GGSCI (WIN7ora as src_ogg@o... 阅读全文

摘要： Logdump是GoldenGate复制软件中附带的一个工具软件，在OGG的目录下可以找到。这个工具主要用于分析OGG生成的队列文件，查找记录、统计队列文件中的数据等。在OGG安装目录下执行logdump.exe or ./logdump即可进入命令行。开始查找记录之前，先要做一些设置1.显示记录头Logdump 1> GHDR ON记录头中包含有记录对应的一些辅助信息，如操作类型、操作时间等2.... 阅读全文

摘要： 基础12c新特性性能Troubleshoot其它 Unidirectional Bidirectional Peer-to-peer Broadcast Consolidation Cascasding Manager Extract Pump Replicate Oracle Database T 阅读全文