xxl-Job扩展新的任务类型

在 XXL-Job 中添加新任务类型（如 DataX、Spark 等）需要遵循以下核心实现步骤，涵盖从数据库到前端界面的全流程改造。以下为详细操作指南：

---

一、基础架构改造

1. 数据库层修改

• 新增任务类型枚举
  修改 xxl_job_jobinfo 表，扩展 glue_type 或新增 job_type 字段：

  -- 新增 DataX 类型 (示例)
  ALTER TABLE xxl_job_jobinfo 
    ADD COLUMN datax_config TEXT COMMENT 'DataX JSON配置',
    MODIFY COLUMN glue_type VARCHAR(50) 
      COMMENT '任务模式: BEAN,GLUE_SHELL,GLUE_PYTHON,DATAX';
  

2. 实体类扩展

// com.xxl.job.admin.core.model.XxlJobInfo 中添加字段
public class XxlJobInfo {
    private String glueType;    // 原字段，需扩展枚举值
    private String dataxConfig; // 新增字段
  
    // getters & setters
}

---

二、调度中心改造（Admin模块）

1. 任务类型枚举定义

// JobGlueTypeEnum.java 扩展枚举
public enum JobGlueTypeEnum {
    DATAX("DATAX", "DataX任务");

    private String code;
    private String desc;
  
    // 构造函数及get方法
}

2. 任务管理界面改造

<!-- jobinfo.index.vue 添加 DataX 类型选项 -->
<el-option 
  label="DataX任务" 
  value="DATAX" 
  v-if="showAdvancedType"/>

<!-- DataX 配置编辑器（集成 JSON 编辑器） -->
<template v-if="form.glueType === 'DATAX'">
  <json-editor 
    v-model="form.dataxConfig" 
    :height="400"/>
</template>

3. 接口逻辑增强

// JobInfoController.java 中增加配置保存逻辑
@RequestMapping("/save")
public ReturnT<String> save(XxlJobInfo jobInfo) {
    if (JobGlueTypeEnum.DATAX.match(jobInfo.getGlueType())) {
        // 验证 DataX JSON 合法性
        validateDataXConfig(jobInfo.getDataxConfig());
    }
    return adminBiz.save(jobInfo);
}

---

三、执行器改造（Executor模块）

1. 新增任务处理器

// DataXJobHandler.java
@Component
public class DataXJobHandler extends IJobHandler {

    @Override
    public ReturnT<String> execute(String param) throws Exception {
        // 1. 生成临时配置文件
        String configFile = generateDataXConfig(param);

        // 2. 执行 DataX 引擎
        String dataxHome = "/opt/datax/bin/datax.py";
        Process process = Runtime.getRuntime().exec(
            "python " + dataxHome + " " + configFile
        );

        // 3. 实时收集日志
        logProcessOutput(process);

        // 4. 等待执行完成
        int exitCode = process.waitFor();
        return exitCode == 0 ? SUCCESS : FAIL;
    }

    private String generateDataXConfig(String json) {
        Path path = Paths.get("/tmp/datax_" + System.currentTimeMillis() + ".json");
        Files.write(path, json.getBytes(StandardCharsets.UTF_8));
        return path.toString();
    }
}

---

四、扩展性设计

1. 多引擎支持策略

classDiagram class IJobHandler { <<interface>> +execute(String param): ReturnT } class DataXJobHandler { +execute(): 调用Python引擎 } class SparkJobHandler { +execute(): 提交Spark任务 } class FlinkJobHandler { +execute(): 提交Flink任务 } IJobHandler <|.. DataXJobHandler IJobHandler <|.. SparkJobHandler IJobHandler <|.. FlinkJobHandler

2. 动态参数解析

// 支持占位符替换（如 ${timestamp}）
String resolvedJson = jobParam
    .replace("${now}", LocalDateTime.now().toString())
    .replace("${instanceId}", triggerParam.getExecutorParams());

---

五、安全加固

1. 配置脱敏处理

// 关键字段加密（如密码、AK/SK）
public String encryptSensitiveFields(String json) {
    JSONObject config = JSON.parseObject(json);
    config.put("password", AES.encrypt(config.getString("password")));
    return config.toJSONString();
}

2. 权限隔离方案

-- 新增权限字段控制
ALTER TABLE xxl_job_user
    ADD COLUMN allow_datax TINYINT(1) DEFAULT 0 
    COMMENT '是否允许操作DataX任务';

---

六、操作示例

1. 新建DataX任务流程

1. 进入「任务管理」页面 → 新建任务
2. 任务模式选择 DATAX
3. 在JSON编辑器中填写配置：

   {
     "job": {
       "content": [{
         "reader": {
           "name": "mysqlreader",
           "parameter": {
             "username": "root",
             "password": "${DB_PWD}", // 使用动态参数
             "connection": [{"jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/db"]}]
           }
         },
         "writer": {
           "name": "hdfswriter",
           "parameter": {"path": "/user/hive/warehouse/tb"}
         }
       }]
     }
   }
   

---

七、日志与监控

1. 日志染色标记

// 在日志中标记任务类型
XxlJobLogger.log("<DataX> Start transferring...");

2. Prometheus监控埋点

// 自定义 Metric
Counter.Builder dataxCounter = Counter.build()
    .name("xxl_job_datax_tasks_total")
    .help("DataX task count");
dataxCounter.labelNames("status").register();

---

实施流程图：

flowchart TD A[需求分析] --> B[数据库扩展] B --> C[调度中心改造] C --> D[执行器开发] D --> E[日志系统适配] E --> F[安全加固] F --> G[验证部署] G --> H{监控报警是否生效} H -->|是| I[正式上线] H -->|否| E

通过以上步骤，可在 XXL-Job 中完整集成新任务类型，实现统一调度管理。若需支持其他类型任务（如Spark、Flink），参照相同模式扩展即可。建议在测试环境充分验证后上生产，并通过灰度发布观察效果。