随笔分类 -  大数据 / Dolphin scheduler

ds调度mssql多个T-SQL语句同步阻塞实现
摘要：ds调度mssql多个T-SQL语句,默认异步非阻塞，发送到mssql服务器即认为任务成功，立马开始节点的下一个任务；导致依赖失效，数据产出异常，上一个任务没正常跑完，下一个任务就开始了； 解决方案： 多个T-SQL语句，包装到一个存储过程中。ds再调度该过程，实现同步阻塞。 阅读全文
posted @ 2025-10-05 11:19 自在现实 阅读(15) 评论(0) 推荐(0)
dolphin sch 调度 spark任务
摘要：ssh user@xxx.x.x.x << 'EOF' /xxx/bin/spark-submit --class xxx.T3 --master yarn /xxx/SparkCore-1.0-SNAPSHOT.jar /input /output EOF user是远程主机用户，需要首先 ssh 阅读全文
posted @ 2025-09-14 16:05 自在现实 阅读(18) 评论(0) 推荐(0)
DS http告警配置
摘要：{"Content-Type":"application/json"} 阅读全文
posted @ 2025-07-11 16:52 自在现实 阅读(19) 评论(0) 推荐(0)
dolphinscheduler 创建 mssql 数据源失败解决
摘要：解决方法：在参数处加入 {"encrypt":"false","trustServerCertificate":"true"} 现象： [ERROR] 2025-01-11 10:44:36.821 +0800 org.apache.dolphinscheduler.plugin.datasourc 阅读全文
posted @ 2025-01-11 10:59 自在现实 阅读(652) 评论(0) 推荐(0)
DATAX 任务环境配置
摘要：在web安全中心配置datax环境如下，datax任务选择该环境： eg1: export PYTHON_LAUNCHER=/usr/bin/python export JAVA_HOME=/opt/module/jdk-17.0.10 export DATAX_LAUNCHER=/opt/modu 阅读全文
posted @ 2025-01-10 15:52 自在现实 阅读(76) 评论(0) 推荐(0)
DS mysql数据源jar包要求
摘要：DS 3.18 默认 mysql 驱动类是 com.mysql.cj.jdbc.Driver。 （mysql-connector-j-8.0.31.jar） 因此 需要放8版本的jar包。 放5版本 jar 包报错，无法建立数据源。(mysql-connector-java-5.1.49.jar) 阅读全文
posted @ 2024-12-28 09:30 自在现实 阅读(46) 评论(0) 推荐(0)