摘要：以前在做DBA时在DB里写过行转列，列转行的CODE.这两天做了一下测试用INFORMATICA来实现行列互换的功能。列转行的SQL 实现ENV: RMDBTABLE： SALES STORENAME QUARTER1 QUARTER2 QUARTER3 QUARTER4 STORE1 100 ...
阅读全文
posted @ 2015-04-13 14:57
随笔分类 - 07数据同步与ETL
摘要：LOOKUP TRANSFORMATION的使用点评：LOOKUP基本用法不熟的话请参考下附属信息。用法感受：1 LOOKUP的作用跟我们以前在EXCEL的函数功能类似，就是隔表取值。优点就是用ETL工具可以设置CACHE，大量的 数据也可以实现这个功能。数据量大的话要设置CACHE ENABL...
阅读全文
posted @ 2015-04-13 12:02
摘要：本文转摘:http://blog.itpub.net/22377317/viewspace-677137/1 informatica powercenter的下载：方法一：去年我是在ORACLE 官方网站下载的INFORMATICA 8.6版本,但是今天在发帖时我特意检查了下, ORACLE 官方网...
阅读全文
posted @ 2015-04-13 11:57
摘要：本项目里的两个哥们做的关于运行状态元数据的两个JOB挺酷的，最近一段时间运行状况良好，自己参考学习的同时以做日志记载，呵呵，为了节省笔墨，相关元数据表结构以及MAPPING设计之类不做介绍（如有疑问欢迎留言探讨），仅对思路做以梳理如下： 1. 通过WKF ID和TASK ID关联对应WKF,T...
阅读全文
posted @ 2015-04-13 11:32
摘要：评价项目评价结果备注支持平台SUN Solaris、HP-UX、IBM AIX、AS/400、OS/390、Sco UNIX、Linux、Windows 支持数据源DB2、Informix、Oracle、Sybase、SQL Server、Teredata、OleDB、SAS、Text、...
阅读全文
posted @ 2014-08-22 18:23
摘要：selecta.mapping_name,a.mapping_id,a.subject_id,a.is_valid,b.pv_precision,c.pv_value,b.pv_default,b.pv_namefrom opb_mapping a,opb_map_parmvar b,OPb_map_persisval cwhere a.mapping_id=b.mapping_idand c.mapping_id=a.mapping_id;查询Mapping参数变量select distinct SUBJ_NAME as folder_name, x.mapping_name, ...
阅读全文
posted @ 2014-02-09 15:09
摘要：Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能，使我们在开发时可以很方便的进行操作，但人们的需求总是万变的，需要方便的取到自己需要的信息，那就需要我们对他的元数据库有很深的了解。Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能，使我们在开发时可以很方便的进行操作，但人们的需求总是万变的，需要方便的取到自己需要的信息，那就需要我们对他的元数据库有很深的了解。Informatica通过表和视图给我们提供着所有的信息，在此将通过一个系列的帖子，将大部分常见的，
阅读全文
posted @ 2014-01-22 10:14
摘要：原因分析解决及如何避免（PowerCenter 8.6.1）前几天同事安装了个PowerCenter8.6.1做测试，出去了几天回来后Administration Console无法登入了。同事用的是自己的本子，公司IP是自动获取的。由于自动获得的IP与以前的IP不同，因为造成了无法连接domain...
阅读全文
posted @ 2013-12-06 13:13
摘要：一、创建时间维度表create table DIM_DATE_TIME( DATE_TIME_ID NUMBER, DATE_TIME_NAME VARCHAR2(120), YEAR_ID NUMBER, YEAR_NAME VARCHAR2(10), QUTER_ID NUMBER, QUTER_NAME VARCHAR2(30), MONTH_ID NUMBER, MONTH_NAME VARCHAR2(30), DAY_ID NUMBER, DAY_NAME VARCHA...
阅读全文
posted @ 2013-10-21 16:31
摘要：Informatica PowerCenter 开发规范一、资料库管理 在资料库的管理过程中，由于各种原因，需要重起资料库服务时，需要通知各位相关人员并在重起时同时重 起Informatica服务。 Folder的建立，由管理员根据业务需求建立，并对其进行授权。建立与用户同名文件夹， 并设置该文件夹的Owner为该用户，且设置其它用户及组只有读权限。（如图 2）图 2二、设计规范 1、Source导入 关系数据库：采用ODBC方式读入元数据，且元数据放置位置与ODBC命名有关，本地ODBC命名需与服务器 相同。对于各用户，ODBC命名采用：用户名_SOURCE（例：MM_SOURCE...
阅读全文
posted @ 2012-02-15 18:05
摘要：1.TM_6281 ERROR: Partitioning option license required to run sessions with user-defined partition points.原因： union transformation 使用的partitionable特性，但你的license却没有这样的权限， 解决方法： 1.在union transformation的paroperties页中, “Is Partitionable” 属性设置为NO 和 “Requires Single ThreadPer Partition” 属性设置为取消Check; 2.然..
阅读全文
posted @ 2012-02-14 10:18
摘要：本系列第二和第三篇文章演示了同步CDC和异步HotLog CDC的实现，这两种模式都是在source database中捕获增量数据，所以配置只涉及到一个数据库，相对来说比较简单。而异步CDC的另外两种模式：Distributed HotLog和AutoLog，需要分别配置source databa...
阅读全文
posted @ 2010-03-08 11:49
摘要：本文主要是通过一个实际的例子演示异步HotLog模式CDC的实现步骤。关于CDC的概念和模式介绍，请参考关于Change Data Capture（一）一.版本SYS@ning>select * fromv$version;BANNER--------------------------------...
阅读全文
posted @ 2010-03-08 11:48
摘要：一、概述 CDC(Change Data Capture)是oracle在数据库级别实现的增量抽取解决方案。在一般的ETL过程中，对于增量抽取，无非是在数据上加时间截，全记录比对，关键字段比对，日志分析抽取等几种方法，要么需要修改原表结构，要么需要大量的算法，要么借助第三方的工具实现。Oracle从...
阅读全文
posted @ 2010-03-08 11:47
摘要：使用 PDI 和 Oracle CDC 来实现Oracle 数据库向其他数据库的数据同步关键字: 数据交换 本文讲述如何利用 Oracle CDC 和 PDI 来实现 Oracle 数据库向其他数据源的数据同步。第一节 介绍Oracle CDC，如果您熟悉 Oracle CDC 可以跳过该节。第二节 说明如何配置 PDI 里的 Oracle CDC 输入和 Oracle CDC 输出 插件。第一节 Oracle CDC 介绍（本节主要内容摘自 OWB 用户手册）发布和订阅模型大多数 CDC 系统都需有人来完成数据的捕获和发布，这个人就是发布者。同时也有多个应用程序或人来访问发布的数据，这些应用
阅读全文
posted @ 2010-03-05 11:20
摘要：下面运用Performing Synchronous Publishing的方式实现Change Data Capture。为了实现同步捕获改变数据，publisher必须用预定义的change source, SYNC_SOURCE。publisher可以自行定义新的change sets ，也可...
阅读全文
posted @ 2010-03-04 13:50
摘要：重启DataStage时的注意事项2008-07-03 10:10DataStage在正常运行时候有以下两个主要的进程:1.dsrpcd(DS的主进程)$ps -ef | grep dsrpcdroot 1602486 1 0 09:42:17 pts/5 0:00 /app/dsadm/Ascential/DataStage/DSEngine/bin/dsrpcd2.JobMonApp(jobmonitor的进程)$ps -ef | grep JobMonroot 668620 1 0 09:42:22 pts/5 0:02 /app/dsadm/Ascential/DataStage/PX
阅读全文
posted @ 2008-08-26 22:44
摘要：(5)配置好后,进入对应目录使这两个文件立即生效source dsenvsource .bash_profile(6)重启DSuv -admin -stopuv -admin -start(7)在客户端新建JOB进行测试,下面的是我的测试JOB(8)oracle和DS是在同一台服务器上,DS使用oracle时候要对以下视图赋权限DBA_EXTENTSDBA_DATA_FILESDBA_TAB_PARTITONSDBA_OBJECTSALL_PART_INDEXESALL_PART_TABLESALL_INDEXESSYS.GV_$INSTANCE (Only if Oracle Paralle
阅读全文
posted @ 2008-08-26 18:35
摘要：安装后的配置(1)编辑/app/dsadm/Ascential/DataStage/DSEngine/目录下dsenv文件,我的dsenv文件内容为:#!/bin/sh###################################################################### dsenv - DataStage environment file## Copyright (c) 1997 - 2004 Ascential Software Corporation. All Rights Reserved# This is unpublished proprieta
阅读全文
posted @ 2008-08-26 18:32
摘要：安装过程中,可以监控日志cd /tmp/dsinstall/longfile/tail -f dsinstall.log.*直到看见Starting JobMonAppJobMonApp has been started.Done.这些信息时候,说明已安装成功.用ps -ef | grep dsrpcd命令看ds后台进程是否运行.ps -ef | grep JobMon 看JobMonApp进程是否运行.如果在日志文件中最后没有出现上面的信息,则安装失败.另安装时候,将前面的安装目录删除rm -r /app/dsadm/Ascential/然后另安装.
阅读全文
posted @ 2008-08-26 18:30
浙公网安备 33010602011771号