随笔分类 -  ETL

kettle定时调度监控方案选型策略
摘要:前段时间实施才实施了一个金融业的中小型数据类支撑平台项目。由于种种原因,选择了目前使用最广的开源ETL工具-Kettle。其实kettle用来做ETL还是蛮方便的,使用门槛也不高,作业效率也将就。只要把规则标准制定好,开发也很快!但是kettle当时没有成熟的调度监控方案,以至于后来各种坑,好在现在 阅读全文

posted @ 2017-10-30 16:25 kitleer 阅读(986) 评论(0) 推荐(0)

利用TASKCTL开源版漏洞,获得ETL工具TASKCTL的免费体验
摘要:写在前面前些日子,供职于移动的大学同学一直在向我抱怨:他们项目组有个搞数据的小伙子离职了。现在整理项目整得焦头烂额,特别是ETL调度这块,需要调整部分规则...... 我记得曾经听他说过,他们的项目用的是datastage,由于有一部分调度功能用datastage无法满足。于是他们就自己用java写了个调度处理程序在跑etl任务。当时,他还在夸这个程序很NB滴:又是分布式、又可能自定义规则,出了问题还可以把异常错误信息发短信到手机上....... 结果现在人跑了,代码实在难于维护.作为哥们,当时只能安慰安慰了他:“实在不行就只好重写一遍了,反正业务规则你还比较熟悉吧”......这段时间,网上 阅读全文

posted @ 2013-01-31 09:40 kitleer 阅读(907) 评论(0) 推荐(0)

ETL工具调度之中美PK
摘要:ETL调度工具中美PK ( TASKCTL VS Control-M)美方:Control-M(www.bmc.com)中方:TASKCTL(www.taskctl.com)毫无疑问,Control-M作为美方代表当之无愧, 因为该软件不仅是美国国内最好的调度软件,而且在整个调度界,它依然处于霸主地位。在Gartner Group对现有的企业生产作业调度管理系统的评比中,Control-M连续多年排在第一位,是唯一的技术领导者。在国内,中国工商银行、中国建设银行、交通银行等多个大型企业都是该软件的客户。而国内,在众多的软件中选择TASKCTL,我似乎没有任何犹豫。该软件虽然没什么名气,但它清新 阅读全文

posted @ 2013-01-31 09:38 kitleer 阅读(406) 评论(0) 推荐(0)

导航