随笔分类 -  DataStage

DataStage系列教程 by Bluebreeze
摘要：突发奇想，用了这么久的DataStage，想要写点东西祭奠那逝去的岁月。希望可以坚持一直写完。DataStage系列教程 （Change Capture）DataStage系列教程 （Pivot_Enterprise 行列转换）DataStage系列教程 （Slowly Changing Dimen... 阅读全文
posted @ 2015-01-30 12:25 BlueBreeze 阅读(2542) 评论(0) 推荐(0)
DataStage系列教程 （Slowly Changing Dimension）缓慢变化维
摘要：BI中维表的增量更新一般有2种：Type 1：覆盖更改。记录的列值发生变化，直接update成最新记录。Type 2：历史跟踪更改。记录值发生变化，将该记录置为失效，再insert一条新的记录。这两种其实都可以通过sql的left join来实现，不过DataStage给我们提供一个组件，可以很好的... 阅读全文
posted @ 2015-01-30 12:20 BlueBreeze 阅读(7790) 评论(0) 推荐(1)
DataStage系列教程 （Change Capture）
摘要：Change Capture可以比较具有相同列的数据集的差异，得出一个数据集（After）在另一个数据库（Before）的基础上产生的哪些变化。变化类型如表1：变化代码变化中文说明0no change无变化1insert新增2delete删除3edit有变化表1 变化种类1 JOB示例如图1，我们最... 阅读全文
posted @ 2015-01-26 18:18 BlueBreeze 阅读(13950) 评论(0) 推荐(0)
DATASTAGE中ODBC连接的配置
摘要：修改2个配置文件：cat /mistel/IBM/InformationServer/Server/DSEngine/.odbc.inicat /mistel/IBM/InformationServer/Server/Projects/sagent/uvodbc.config注：①路径修改为对应安装... 阅读全文
posted @ 2014-09-09 11:04 BlueBreeze 阅读(2850) 评论(0) 推荐(0)
DataStage 服务启动
摘要：说明：①如果发现was、datastage已经自启动，但db2没有自启动，应先将它们停止，在按顺序启动;②如果都自启动了，就不用再启动，关闭防火墙即可。--0、关闭防火墙service iptables stop--1、db2su - db2inst1db2startps -efa | grep d... 阅读全文
posted @ 2014-09-09 10:58 BlueBreeze 阅读(3396) 评论(0) 推荐(0)
DataStage系列教程 （Pivot_Enterprise 行列转换）
摘要：有人提到Pivot_Enterprise这个组件，之前没有用过，今天捣腾了会，写下来供以后参考，如果有什么不对的，还请多指出，谢谢！Pivot_Enterprise主要用来进行行列转换。1 示例如下两表数据的相互转换。2 操作在接下来的例子都是用到三个组件，源文件、pivot_Enterprise、... 阅读全文
posted @ 2013-12-29 19:01 BlueBreeze 阅读(3485) 评论(0) 推荐(0)
DataStage通过分析日志获取Job插入目标表的记录数
摘要：DataStage通过分析日志获取Job插入目标表的记录数这只是一种不太好的方法，也许还有更好、更简便的方法。这种方法要求每次运行Job之前删除已有的日志信息，否则无法统计出正确的记录数。当然，在Job跑完之后，可以在shell备份本次Job运行的日志到服务器磁盘。1 日志清理设置登录Datastage Administrator，选择对应项目，项目属性->记录，勾选“自动清除作业日志”，设置为自动清理上次及以前的日志。 Figure 1 Administrator日志清理设置2 日志处理2.1 日志备份（dsjob -logsum）在shell里用dsjob调起来Job，... 阅读全文
posted @ 2012-12-06 14:08 BlueBreeze 阅读(3633) 评论(0) 推荐(0)
目标表已有对应数据则不插入
摘要：很多时候会遇到一种需求：目标表：t（a,b,c,d,e） 需求：往目标表中插入数据时，如果数据源与目标表中某条记录的部分列（eg：a,b,c）相同，则不插入。 解决思路：数据源src与目标表des使用Lookup关联，src作为流，des为引流。查找失败选项选择拒绝。我们需要的数据流则为拒流上的数据，另外将匹配上的数据流随便保存到一个文件。 Tips：如果需要匹配的字段如ch... 阅读全文
posted @ 2012-11-02 13:17 BlueBreeze 阅读(299) 评论(0) 推荐(0)
跑数速度慢，修改参数
摘要：在DB组件中，适当增大【Transaction\Record count】【Session\Array size】值。 阅读全文
posted @ 2012-11-02 13:16 BlueBreeze 阅读(351) 评论(0) 推荐(0)
Datastage 调度相关 dsjob
摘要：DataStage有他自己的调度，不过个人总觉得修改起来不怎么方便。于是偏向于在Linux下用shell调度。最近项目需要，总结了一些，备忘。有什么不对的地方，欢迎指正。1 dsjob语法Command Syntax:dsjob [-authfile | -file | -domain -... 阅读全文
posted @ 2012-11-02 13:08 BlueBreeze 阅读(6624) 评论(0) 推荐(0)
【Range Lookup】 根据年龄 求年龄分段ID
摘要：人员表 A(age,name) 年龄分段表 B(max,min,ageid) A表关联B表，获取对应的年龄分段ID。 之前查了很多资料不知道怎么做，会了以后觉得好简单。现记录备忘。 阅读全文
posted @ 2012-11-02 12:48 BlueBreeze 阅读(550) 评论(0) 推荐(0)