随笔分类 -  etl & ODI

etl, ODI
ODI基于源表时间戳字段获取增量数据
摘要:实现目标:通过ODI获取一个没有时间戳的子表(qb_bw)的增量数据,而主表(qb_tb)有一个rksj入库时间,且主表和子表之间通过ID关联。目标表名是qb_bw1. 设计原理:通过在ODI的mapping中关联主表和子表,然后在主表的rksj上设置时间过滤,最后将子表的字段映射到目标表中。在此设 阅读全文

posted @ 2018-06-03 12:41 margiex 阅读(1332) 评论(0) 推荐(0)

odi 12.2.1.1新特性
摘要:ODI 12.2.1.1现在已经发布,也可以OTN上下载,主要变化: Hyperion Essbase and Hyperion Planning 知识模块Hyperion Essbase and Hyperion Planning知识模块现在内置到ODI中,支持最新的Hyperion11.1.2. 阅读全文

posted @ 2016-06-23 14:29 margiex 阅读(471) 评论(0) 推荐(0)

odi 12.2.1中访问excel文件
摘要:由于在odi 12.2.1中,必须使用jdk1.8,而jdk1.8中jdbc-odbc bridge已经不再支持,因此,可以使用Progress DataDirect SequeLink来充当jdbc-odbc驱动。架构如下: 原文地址: https://blogs.oracle.com/datai 阅读全文

posted @ 2016-04-06 11:09 margiex 阅读(440) 评论(0) 推荐(0)

ETL工具与脚本实现之间的对比
摘要:scripts, custom code and individual vs. team development doesn’t scaleAnd:‣Lack of coding standards ‣High cost of maintaining custom code over time... 阅读全文

posted @ 2015-11-27 12:05 margiex 阅读(562) 评论(0) 推荐(0)

ODI 12c中使用Groovy脚本创建工程
摘要:本文主要介绍在ODI中使用groovy创建工程,并添加一个表转换的映射。要创建groovy脚本,可以从ODI Studio的菜单:工具->Groovy->新脚本 打开一个编辑窗口。在执行下面的脚本之前,确认在模型中已经有EMP表。 USERSRC USERDEST import orac... 阅读全文

posted @ 2014-12-09 16:48 margiex 阅读(759) 评论(0) 推荐(0)

转:gartner 2014-07 ETL工具象限排名
摘要:ref:http://www.gartner.com/technology/reprints.do?id=1-1YAXV15&ct=140728&st=sb 阅读全文

posted @ 2014-11-19 09:58 margiex 阅读(492) 评论(0) 推荐(0)

ODI 12.1.3创建standalone代理
摘要:首先要安装ODI。 ODI安装 如果没有安装WLS,则可以选择独立安装,如下图。 其它按步骤安装即可。 RCU创建service table 需要rcu建立service tables才行,后面的odi component data source中需要,ODI studio中创建的... 阅读全文

posted @ 2014-08-30 20:49 margiex 阅读(1277) 评论(1) 推荐(0)

ODI 12.1.3发布,提升支持大数据的能力
摘要:此次发布的ODI新版本,目的是更好的支持当前市场上的大数据平台。大数据基因在不改变ODI工作效率的情况下,ODI增加了越来越多的数据源集成能力。ODI是在Oracle平台上标准的E-LT工具,事实上也是Oracle各个应用软件的数据集成工具。因此,与时俱进,增加对市场上当前流行数据源的集成是必然的,... 阅读全文

posted @ 2014-07-23 10:58 margiex 阅读(574) 评论(0) 推荐(0)

ODI中查看变更及对象查找
摘要:ODI中可以查看每个对象的修改时间、修改人,当ETL作业失败之后,可以根据这些信息了解到是否有人修改过相关的对象。另外,在ODI的菜单项中,也可以查看按修改时间、人员等搜索指定的对象,如查找最近7天内有变化的对象:以上功能对于ODI的管理和监控有一定帮助,当然,所有这些信息都可以在ODI的资料库中查... 阅读全文

posted @ 2014-05-04 15:24 margiex 阅读(402) 评论(0) 推荐(0)

ODI中显示us7ascii字符集的测试
摘要:安装oracle DB时,选择的字符集:美国、英语、US7ASCII。 在不设置nls_lang的情况,插入中文,成功,但存进去的是乱码,select看到也是??(无论后面再怎么设置nls_lang),下面第2条记录便是如此。第3条记录是设置了nls_lang = American_america.us7ascii之后插入的。 在命令行设置nls_lang为zhs16gbk,与DB字符集不同 第2条本身存入的有问题,始终是??。 第3条查看时的nls_lang与DB的字符集不同,也与insert时设置的us7ascii不同,因此也是乱码。 设置NLS_LANG与D... 阅读全文

posted @ 2013-12-31 13:51 margiex 阅读(1447) 评论(0) 推荐(0)

ODI 11g & 12c中缓慢变化维(SCD)的处理机制
摘要:缓慢变化维(Slowly changing Dimensions)指的是维表中的维度字段值会随着时间或业务调整,而在后续的分析中,历史数据仍然要使用旧的维度值,新的数据会使用当前维度值。在数据仓库建设过程中,ODI提供有专门的SCD 集成模块,更方便的对维表进行更新。 源和目标模型定义 本示例基于src_customer表,下面是目标维表的定义: 在上面的目标维表中,先说明一下相关的字段: lKey,代理键:在生成的结果维表中唯一标识,一般使用Sequence标识; lCurrent_ind,是否有效:当前维表中该记录是否处于有效状态; lH_BID,自然主键:原有维表中... 阅读全文

posted @ 2013-12-27 12:14 margiex 阅读(1163) 评论(0) 推荐(0)

ODI中的临时接口
摘要:在ODI 11g及后续的版本中,针对复杂的ETL处理,可分解为多个步骤,在中间步骤中使用临时接口,而不用建立相应的物理表,ODI会在处理过程中自动创建和删除这些中间表,从而降低ETL处理复杂度;同时,临时接口也可以在多个接口中重复利用,提升ETL效率。 创建一个新接口,指定此接口对应的数据源: 在映射中拖拉源表并关联: 选中目标存储,手工输入一个名称: 拖拉对应的源字段到目标存储上: 所有的执行都是在“源”上进行。 切换到流控制,选择对应的IKM。 保存接口。 可以看到在左边的接口列表中,此接口颜色与其它接口不同,此时可将此接口直接做为其它接口的... 阅读全文

posted @ 2013-12-27 11:39 margiex 阅读(426) 评论(0) 推荐(0)

ODI中通过配置表和自定义逆向工程获取数据库信息
摘要:自定义逆向工程RKM 从配置表meta_db, meta_table, meta_column, meta_key中获取生产库的元数据信息。 使用modelID将不同的生产库的表和字段逆向出来。 本测试只获取了table, columns, PK信息。 Get Tables示例: 创建相应的模型 然后在配置库的逆向工程菜单上,选择此知识模块 modelID即ODI元数据表snp_model中,要逆向工程的模型ID,即snp_model.I_MOD字段的值。执行结果 现在即可将对应的数据表做为源或目标进行ETL转换设计。 阅读全文

posted @ 2013-12-16 10:41 margiex 阅读(1020) 评论(0) 推荐(0)

ODI中web service介绍
摘要:ODI WS架构 ODI Web Service有几种,第一种,可将数据(Data Store)表发布为Web Service,提供有相应的查询、删除、更新、添加数据的接口; 针对这类WS,需要在应用服务器中添加数据源,WLS中是在数据源中基于向导添加;在tomcat中是修改context.xml和web.xml。 context.xml web.xml 发布之后,在soapUI中查看 第二种,ODI Agent可以发布为Web Service一般是http://xxx:port/oraclediagent/OdiInvo... 阅读全文

posted @ 2013-12-13 22:41 margiex 阅读(1579) 评论(0) 推荐(0)

Oracle Data Integrator与OWB的集成及迁移
摘要:ODI发布了一个可以迁移(oracle warehouse builder)OWB 11.2.0.4的补丁 (ODI 12.1.2.0.0 plus patch number 17053768)。包含如下几个特性:l ODI中增加了处理OWB的组件:从上面可以看到新增有pivot/unpivot等组件;如果在OWB上打了补丁(OWB 11.2.0.4 pluspatch number 17547241),则可以将OWB的映射等信息迁移到ODI 12c中;安装了ODI的补丁之后,可以在ODI中监控OWB中的作业;Ref:OWB to ODI Migration Utility released. 阅读全文

posted @ 2013-11-21 13:50 margiex 阅读(496) 评论(0) 推荐(0)

Oracle Data Integrator 12c (12.1.2)新特性
摘要:改进特性如下: 基于流程界面的声明式设计 在12c中,以前的接口(interface)已经改为映射(mapping),新的基于流程声明的设计方式更灵活,也更容易使用。在12c中,映射的实现是通过使用Join, Filter, Split等组件将源和目标之间关联起来。 可重用映射 可重用的映射允许创建在多个映射中可重复使用的流程单元。一个可重用映射包括输入和输出接口,用于与其它单元连接。一个可重用映射中可以包括源表和目标表。 多目标支持 现在一个映射可包含多个目标表,目标表之间的加载顺序可指定,Split组件可基于条件将不同的行加载到不同的目标表中。 ... 阅读全文

posted @ 2013-10-28 16:27 margiex 阅读(768) 评论(0) 推荐(0)

ODI 12c 安装
摘要:软件下载地址: http://www.oracle.com/technetwork/middleware/data-integrator/downloads/index.html 下载这个版本: Oracle Data Integrator 12cR1 (12.1.2.0.0) Download for All Platforms (including x64) 解压zip后,开始安装,需要JDK最低版本是1.7.0.10 选择安装目录: 如果下面不选择企业版本安装,则不会有odi studio: 检查环境 开始安装 安装完成 ... 阅读全文

posted @ 2013-10-27 23:09 margiex 阅读(548) 评论(0) 推荐(0)