摘要：一 简介 Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具 。 官方下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7 1. Sqoop是什么 Sqoop：SQL- 阅读全文

摘要：OGG架构 在一个典型的OGG环境中，会有两个数据库存在，同时也会有两个GG实例运行，主要包括四个核心对象:源数据库、目标数据库、源GG、目标GG。数据复制运行流程大概如下：源数据库在运行过程中，LGWR进程会源源不断地把日志记录到联机日志中（online log)。源GG的工作起点或者整个GG数据 阅读全文

摘要：抽取处理需要重点考虑增量抽取，也被称为变化数据捕获，简称CDC。假设一个数据仓库系统，在每天夜里的业务低峰时间从操作型源系统抽取数据，那么增量抽取只需要过去24小时内发生变化的数据。变化数据捕获也是建立准实时数据仓库的关键技术。 当你能够识别并获得最近发生变化的数据时，抽取及其后面的转换、装载操作显 阅读全文