kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业

1、资源库创建

1)这里我使用文件资源库进行演示。点击新增按钮添加文件资源库。

ab9189be-1992-4747-bb4f-905ace3e84be

2)文件资源库列表

文件上传:可以将脚本打包为zip文件进行上传。

文件下载:可以将脚本文件打包进行下载。

2114362c-91ce-4a59-bfea-cae419fdef17

 2、xkg-pdi服务器脚本维护

1)作业管理-》作业转换,可以单个或者批量上传脚本。

2b4965dd-b572-4dcb-8c68-bc1479b9f898

 2)具体作业或者转换上右键操作可以对单个脚本进行操作。

a749d055-49ae-499d-84bb-9b5e604d46c1

3、服务器管理

1)点击新增按钮创建centos1服务器。

ac065da4-0ffd-4bac-bd1e-97357356bd3a

 2)用同样的方法创建centos2服务器。

a2d77ab1-bd3a-498f-8d5e-733e191aaab9

4、 carte配置

在centos1和centos2服务器上,我们分别部署两个carte服务。carte服务可以通过xkg-pdi服务进行部署,也可以手动部署,在xkg-pdi平台维护进来即可。

具体部署可以参考文章【kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟

ec191b22-ebbe-4662-8da8-110c94df5a06

 5、脚本下发

1)脚本下发的意思就是将xkg-pdi 资源库中的脚本同步到所有的carte服务中。

如下配置表示文件资源库中的脚本同步到carte-8080服务的/opt/repo目录中。

aa93bc6a-68b2-4fc0-a248-98d2b02f8c94

 

 2)脚本下发创建之后可以单个或者批量下发。

8ee96f5e-a427-4051-8495-0a1f14637a4b

 6、carte组配置

1)carte组的作用主要是搭建carte服务集群,确保carte服务高可用。carte服务组内carte心跳检测出现问题后该carte自动不可用,该carte重启之后变为可用。

c5b7c7f4-f95d-492b-b60e-42295f36f324

 2)调度方式支持轮询、随机、哈希、空闲方式,后续根据需求可加入更多方式。

 7、任务配置

1)一切准备就绪之后,我们开始配置调度任务。

756a60a516834832b72a168a3f266a7f

 2)点击按钮调度一次进行测试

978ceb37-fa18-42da-9e8c-1d4de28f91e1

 第一次调度,任务在carte-8080服务上执行

47fe12b8-3b59-4f7b-aca9-8fd71c42739c

 第二次调度,任务在carte-8081服务上执行。

a3bbb997-7764-47cf-a38c-31128383c73b

 8、作业监控

作业监控,可以查看job或者trans的运行记录和日志信息。

87d95f83-cb6a-49dc-8f3b-6946b79ac211

 9、平台监控

平台监控这里展示job或者trans的整体运行情况,如carte节点数,运行节点数,总任务数,作业任务数量,转换任务数等信息。

b533e650-13cc-4b86-83ee-36da2058b453

 10、carte双集群

carte的双集群拓扑结构如下图所示

e8cccd39-e40e-4e09-ab1c-c9c3b91ba361

 

image

 

posted @ 2025-12-02 20:57  慕容尘轩  阅读(29)  评论(0)    收藏  举报