kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业
1、资源库创建
1)这里我使用文件资源库进行演示。点击新增按钮添加文件资源库。

2)文件资源库列表
文件上传:可以将脚本打包为zip文件进行上传。
文件下载:可以将脚本文件打包进行下载。

2、xkg-pdi服务器脚本维护
1)作业管理-》作业转换,可以单个或者批量上传脚本。

2)具体作业或者转换上右键操作可以对单个脚本进行操作。

3、服务器管理
1)点击新增按钮创建centos1服务器。

2)用同样的方法创建centos2服务器。

4、 carte配置
在centos1和centos2服务器上,我们分别部署两个carte服务。carte服务可以通过xkg-pdi服务进行部署,也可以手动部署,在xkg-pdi平台维护进来即可。
具体部署可以参考文章【kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟】

5、脚本下发
1)脚本下发的意思就是将xkg-pdi 资源库中的脚本同步到所有的carte服务中。
如下配置表示文件资源库中的脚本同步到carte-8080服务的/opt/repo目录中。

2)脚本下发创建之后可以单个或者批量下发。

6、carte组配置
1)carte组的作用主要是搭建carte服务集群,确保carte服务高可用。carte服务组内carte心跳检测出现问题后该carte自动不可用,该carte重启之后变为可用。

2)调度方式支持轮询、随机、哈希、空闲方式,后续根据需求可加入更多方式。
7、任务配置
1)一切准备就绪之后,我们开始配置调度任务。

2)点击按钮调度一次进行测试

第一次调度,任务在carte-8080服务上执行

第二次调度,任务在carte-8081服务上执行。

8、作业监控
作业监控,可以查看job或者trans的运行记录和日志信息。

9、平台监控
平台监控这里展示job或者trans的整体运行情况,如carte节点数,运行节点数,总任务数,作业任务数量,转换任务数等信息。

10、carte双集群
carte的双集群拓扑结构如下图所示


浙公网安备 33010602011771号