随笔分类 -  ETL

DataStage系列教程 by Bluebreeze
摘要：突发奇想，用了这么久的DataStage，想要写点东西祭奠那逝去的岁月。希望可以坚持一直写完。DataStage系列教程 （Change Capture）DataStage系列教程 （Pivot_Enterprise 行列转换）DataStage系列教程 （Slowly Changing Dimen... 阅读全文
posted @ 2015-01-30 12:25 BlueBreeze 阅读(2542) 评论(0) 推荐(0)
DataStage系列教程 （Slowly Changing Dimension）缓慢变化维
摘要：BI中维表的增量更新一般有2种：Type 1：覆盖更改。记录的列值发生变化，直接update成最新记录。Type 2：历史跟踪更改。记录值发生变化，将该记录置为失效，再insert一条新的记录。这两种其实都可以通过sql的left join来实现，不过DataStage给我们提供一个组件，可以很好的... 阅读全文
posted @ 2015-01-30 12:20 BlueBreeze 阅读(7790) 评论(0) 推荐(1)
DataStage系列教程 （Change Capture）
摘要：Change Capture可以比较具有相同列的数据集的差异，得出一个数据集（After）在另一个数据库（Before）的基础上产生的哪些变化。变化类型如表1：变化代码变化中文说明0no change无变化1insert新增2delete删除3edit有变化表1 变化种类1 JOB示例如图1，我们最... 阅读全文
posted @ 2015-01-26 18:18 BlueBreeze 阅读(13950) 评论(0) 推荐(0)
ETL增量处理总结
摘要：1 LOG表1.1 思路用log表记录业务库某表yw_tableA发生变化数据的主键。数据进入BI库目标表bi_tableA前，先根据log表记录的主键进行delete。1.2 设计1.2.1 log表结构CREATE TABLE LOG( key_1 VARCHAR(20), --主键1 ... 阅读全文
posted @ 2015-01-23 17:08 BlueBreeze 阅读(1931) 评论(0) 推荐(1)
erwin逆向工程，logical模型列名修改为中文
摘要：逆向工程，应该选择physical template，这样拷贝到logical/physical 模型中，才可以将logical模型的列名修改为中文。 阅读全文
posted @ 2015-01-18 22:09 BlueBreeze 阅读(1637) 评论(0) 推荐(0)
WIN7环境安装informatica 提示 不能创建Domain或者node
摘要：查看infa安装的bat文件install.bat，会发现，它调用的是.\Server\Windows\Disk1\InstData\VM\install.exe。所以，我们在安装执行，右键install.exe，选择属性，在【兼容性】选项卡中，勾选兼容模式，在winxp执行就好了。 附图： 阅读全文
posted @ 2015-01-18 22:06 BlueBreeze 阅读(662) 评论(0) 推荐(0)
infa dos命令
摘要：informatica8.6用dos命令执行作业的命令： pmcmd startworkflow -sv integration -d Domain_BlueBreezeq -u Administrator -p Administrator -f prj_SJZX_ETL wf_m_ods_employee 提示命令不存在时，需要将pmcmd所在路径加入到path变量中。 Windows中pm... 阅读全文
posted @ 2015-01-18 21:56 BlueBreeze 阅读(277) 评论(0) 推荐(0)
DATASTAGE中ODBC连接的配置
摘要：修改2个配置文件：cat /mistel/IBM/InformationServer/Server/DSEngine/.odbc.inicat /mistel/IBM/InformationServer/Server/Projects/sagent/uvodbc.config注：①路径修改为对应安装... 阅读全文
posted @ 2014-09-09 11:04 BlueBreeze 阅读(2850) 评论(0) 推荐(0)
DataStage系列教程 （Pivot_Enterprise 行列转换）
摘要：有人提到Pivot_Enterprise这个组件，之前没有用过，今天捣腾了会，写下来供以后参考，如果有什么不对的，还请多指出，谢谢！Pivot_Enterprise主要用来进行行列转换。1 示例如下两表数据的相互转换。2 操作在接下来的例子都是用到三个组件，源文件、pivot_Enterprise、... 阅读全文
posted @ 2013-12-29 19:01 BlueBreeze 阅读(3485) 评论(0) 推荐(0)