kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏

 场景:在使用kettle的过程中,很多人都会遇到团队协作的问题。如何管理脚本?团队如何协作?如何发布测试或者生产环境。今天一起学习下xkg-pdi如何解决这些问题的。

788913e9620456725e916a1786f1f507

 1、设计脚本

1)打开spoon客户端(本次使用的是kettle9.4)

2)创建数据库资源仓库

具体如何创建数据库资源仓库可以参考我前面的文章。登录用户名和密码默认是admin/admin,我这里改成cluster/cluster了。

a07c90d3aaa4463a86d7f75938c88b81

 2)设计trans

设计简单的trans,并将脚本保存到数据库资源仓库。

f1657ea7-bb7f-4134-baa3-9e02bc7c9b33

2、启动xkg-pdi服务

此步骤忽略,更多信息参考我前面的文章,输入admin/admin进行登录。

e2124820-e104-4afd-b2fd-c884205a7a4d

 

3、配置数据库资源库

1)点击新增按钮创建数据库资源库,这里的资源库信息中的用户名、密码;数据库中的信息需要和spoon创建的数据库资源仓库保持一致。

a295678544f39c9579756e26b31f77fd

926b14c5aa967e3b8b4e8163ee7de484

 2)测试链接

可以点击测试链接按钮测试数据库是否可以正常链接。

3)创建资源库

如果spoon客户端没有创建资源库的话,可以通过这里的创建资源库按钮进行创建。

7f9fae2f7ea2fc7b6dd9aa704eda986b

 4、拉取脚本

选择资源仓库之后,可以自动加载spoon客户端上传的脚本t1.ktr,也可在线预览和xml文本编辑。

53c3b02d-38a4-463a-8f95-f4473ca76431

 5、配置作业调度

资源库选择数据库资源库-》常熟XX集团2期项目,然后选择具体脚本,这里选择t1.ktr文件。

其他参数介绍参考我前面的文章。

763b8ae8-9348-4ac9-ac9c-e610a06a8c7d

 6、调度任务

点击调度一次按钮,手动触发任务。

b30d667d-712c-4aae-9c1d-c5a78100c35d

 7、查看调度日志

1)作业管理-》作业监控可以查看任务的调度记录。

e0ffa10d-9415-49e1-b136-cac7544711b9

 2)点击日志按钮,可以查看调度的日志详情。详情里面可以清楚的看到任务被分配到carte组某个carte节点进行执行。

fef2d9d700cf72c0e2de4822138b89e8

 

8487d302-089b-4e94-99c6-1e6332f737cd

 写在最后

本次通过数据库资源仓库来实现团队协作,后续会讲解通过git来实现团队协作,敬请期待。

image

 

posted @ 2025-12-17 22:14  慕容尘轩  阅读(5)  评论(0)    收藏  举报