kettle调度系统- XKG集成Webkettle，kettle脚本在线设计&测试&部署一站式解决方案，全新升级

XKG-PDI闭关许久，终于迎来了功能、性能的全新升级，进行介绍的重点是XKG-PDI集成了自演的webkettle平台，使用起来高效，协同、丝滑。废话少说，上教程。

1、创建工作空间

1)新增工作空间

操作路径：系统管理-工作空间管理

空间名称：自定义

空间编码：自定义

空间负责人：可以指定系统内用户

状态：启用/禁用

空间并发上限：空间内同时执行任务数上限，留空不限制

跨空间依赖：允许的话不同空间的转换后者job文件可以互相引用。

 2）工作空间授权

给工作空间内添加用户后，该用户则拥有该空间的权限，后续可以进行在线创建trans文件、运行、发布等操作。

 

 2、创建资源库

这里为了方便演示，创建文件资源库，如下图所示。

3、创建数据源

 xkg内部的数据源是公共模块，trans文件或者元数据采集等用到的数据源都在数据集成-数据源管理这里操作。

如果后续要操进行元数据采集的话，需要设置定时采集和采集周期参数。

3、在线设计

1）操作路径：数据开发-在线设计，点击新建设计按钮开始在线设计trans

 2）设计转换

本次转换用到了表输入、python代码（自研插件）、写日志、字段选择、表输出步骤。

 

3）表输入编辑

选择数据库连接（前面数据源管理模块创建的数据源），输入查询sql，如下图所示：

 4）python代码编辑

这里使用python代码步骤只添加了的tips字段，python代码插件支持任何python操作，支持python2和python3，强大到无敌。

5）字段选择（操作比较简单，忽略）

6）表输出编辑

选择数据库连接和目标表，设置数据库字段等信息即可。很容易操作，不熟悉的可以翻我前面的文章介绍。

 7）保存

点击保存按钮将设计文件进行保存。

8）运行

点击运行按钮进行测试trans文件，可以根据打印日志进行调试或者调优，如下图所示：

 9）发布

发布操作是将设计的trans文件发布到资源库，方便后续设置调度操作。

 

 点击确认运行，选择目标资源库，然后点击发布按钮进行发布。

  发布结果，发布成功之后可以直接创建调度任务或者继续设计trans文件。

4、作业转换管理

操作路径：数据开发-作业转换

输入关键字搜索trans文件，右键trans然后点击在线设计器打开可以使用webkettle继续编辑trans文件。

目前支持表单编辑、webspoon编辑（kettle9.5）、在线设计器打开三种编辑方式。

 

 5、作业调度

操作路径：数据开发-作业调度

1）分组管理

点击新增新建任务分组，如下图所示：

 2）作业调度

点击新增按钮创建调度任务，如下图所示：

所属空间：这里只会展示自己有权限的空间

资源库：只会展示自己空间内的文件或者数据库资源库

任务路径：输入关键字字搜索trans文件

分组名称：选择前面设置的分组

告警渠道：渠道目前支持钉钉、企业微信、飞书三种方式，这里先忽略，后续自己可以摸索进行配置。

 

 执行方式配置：

执行方式：支持本地和carte服务

调用方式：本地情况下支持java和spoon两种方式，这选择java进行调度，也就是xkg集成kettle核心包进行调度。

 调度策略配置：

调度策略支持Cron方式和轮询两种方式，这了配置为Cron方式，下面的一些参数比较简单，后续可以自行配置。

参数告警配置：

可以设置启动参数、超市时间、负责人、描述等信息，如下图所示：

 调度一次：

勾选任务点击调度一次，或者点击任务后面的调度一次icon都可以触发调度任务，如下图所示：

 3）调度日志

操作路径：调度中心-作业监控

这里支持简单的任务记录、DAG运行、批次链路等三种日志查看，任务名称绿色表示调度成功，红色表示调度失败，如下图所示

 点击日志icon查询调度详情，如下图所示：

 4）本地spoon方式调度

kettle版本维护，可以新增不同版本的kettle，操作路径数据开发-kettle版本维护，如下图所示：

 这里新增了kettle9.4和kettle9.5两个版本。

 编辑任务将调度方式调整为spoon，然后重新调度任务。

 spoon调度日志，依旧调度成功。

 后续我们将继续探索XKG-PDI其他的一些功能，如DAG调度，依赖链（类似datax中的依赖）等。

欢迎小伙伴们使用XKG-PDI。