摘要：使用DS开发的时候,有的时候会遇到一个问题:数据库层面定义的空格与DS自已定义的空格概念不一致,导致生成的数据会有一定的问题. 举例来说: 在数据库里面定义CHAR(20),如果插入的字符不足20的时候,会自动补空格(ascii为0x20);在DS里面的话,源数据如果不满足20的话,那么DS也会自动补全,此时补的值为ascii 0x00。那么，这条记录在数据库里面的话，表面上是看不出异常的，但是加条件查询的时候，是查不出来结果集的。此时，就要用到dump来判断是否有此类情况出现。 oracle的dump函数就不介绍了，需要用到的时候，请google即可。The argument ret... 阅读全文

摘要：在使用datastage抽取数据的过程中，经常会遇到要求以准实时（如每隔3分钟同步一次数据）进行数据抽取的需求。这些要求可以使用crontab+shell来实现。如下图所示，此为整个shell调度DS JOB的流程：首先使用dsjob的jobinfo参数获取该JOB的进程号（process_id)和状态值(state).当state异常时，重置该JOB；当state正常时，判断该job是否在运行（即process_id是否为0）。若process_id=0，表示目前该JOB未运行，正常调度该JOB，若process_id>0,表示该JOB正在运行阶段，转置结束处。代码如下：#!/bin/ 阅读全文

摘要：使用Datastage8.1快二个年头了，期间一直使用DS来做数据中心ETL的工作。俗话说："工欲善其事，必先利其器。",亦有人曰"勿在浮沙筑高楼"，熟练掌握工具的用处可见一斑，这也是我想写下这一系列的原因。不过，工具终究是工具，如果不能深入理解和掌握承载在工具使用上的思路和方法，那么工具也仅仅是工具而已，谨以此提醒自己。 言归正传。工作中使用的DS环境：RHEL4 64bit，DS8.1 。 遇到问题的场景是：数据中心上线大半年时间后，其中有一台DS ETL服务器经常报errorcode=-1004，而另外一台DS ETL服务器从未出现问题。查看Dat 阅读全文