摘要: 一、背景与选型 1.1 定义 Apache DolphinScheduler 是一个可视化、分布式的大数据工作流任务调度系统。 通俗点说,就是用来编排和自动执行你那些复杂ETL任务的“指挥中心”。可以把之前写的各个SQL脚本、Shell 脚本,都拖拽成一个有依赖关系的流程图(DAG),然后设定好时间 阅读全文
posted @ 2026-08-19 10:42 海豚调度 阅读(12) 评论(0) 推荐(0)
摘要: AI 编程能力正在以前所未有的速度发展,也正在重新定义开源软件的开发、协作与维护方式。面对下一代人机协作的技术浪潮,开源贡献模式也迎来了新的变化。 开源之夏 2026 全新启航,正式迈入“点亮计划 2.0”时代!今年,Apache DolphinScheduler 将继续参与开源之夏经典模式,诚邀社 阅读全文
posted @ 2026-08-18 18:23 海豚调度 阅读(3) 评论(0) 推荐(0)
摘要: Apache DolphinScheduler 本身并没有针对任务组槽位设计"超时强制回收"的功能;它的"自动回收"机制其实是一致性纠正 + 正常释放 + 强制启动三种手段的组合,全部由 TaskGroupCoordinator 后台线程周期性执行完成。 如果要解决任务组资源被长时间占用时,想要让系 阅读全文
posted @ 2026-08-18 17:59 海豚调度 阅读(11) 评论(0) 推荐(0)
摘要: 大模型浪潮下,如何让数据工作流走向智能化? 阅读全文
posted @ 2026-08-14 10:07 海豚调度 阅读(6) 评论(0) 推荐(0)
摘要: Apache DolphinScheduler 的并发控制横跨 Master、单个流程实例、Worker 三个层级,用户遇到的绝大多数"并发不达预期"问题,本质上都是没有分清这三层参数各自管的是什么。 阅读全文
posted @ 2026-08-12 17:30 海豚调度 阅读(4) 评论(0) 推荐(0)
摘要: 本文将逐步解析 DolphinScheduler 的关键脚本,希望能提供一个详尽的操作指南,帮助大家掌握安装、配置和操作的每一步。 阅读全文
posted @ 2026-08-12 17:20 海豚调度 阅读(9) 评论(0) 推荐(0)
摘要: dsctl 是社区维护的第三方 CLI,通过 REST API 操作 Apache DolphinScheduler®。工程师、Shell 脚本、CI/CD 和 AI Agent(下文简称 Agent)使用同一套命令。项目采用 Apache License 2.0 开源。 阅读全文
posted @ 2026-08-06 15:17 海豚调度 阅读(22) 评论(0) 推荐(0)
摘要: 一、前言 本文是一篇关于Apache DolphinScheduler 在实际项目中的应用实战笔记,包含 DolphinScheduler 执行 SQL 或存储过程、调用 DataX 同步数据、HTTP 接口多种任务节点类型及其配置方法,并提供了丰富的配置示例和参数说明,适合需要快速上手 Dolph 阅读全文
posted @ 2026-08-06 14:48 海豚调度 阅读(44) 评论(0) 推荐(0)
摘要: 从 1.3 版本到 3.X 版本,Apache DolphinScheduler 已经经历了数次迭代,有了不少变化,相信大家都注意到了。 本文将从表结构演进、任务类型扩展、注册中心多样化、架构设计优化和功能增强五个维度,系统对比 Apache DolphinScheduler 1.3 系列与 3.x 阅读全文
posted @ 2026-07-29 17:51 海豚调度 阅读(25) 评论(0) 推荐(0)
摘要: 导语:在很多人的固有印象里,开源社区是顶级黑客与程序员的专属领地,看不懂代码、不会写程序就只能站在门外。但事实并非如此。不少非技术背景的参与者,都曾被 GitHub 复杂的操作界面拦在门外,也在晦涩的技术术语前打过退堂鼓。今天这份从真实踩坑经历中总结的生存指南,将帮你打破迷雾:不懂代码不仅能参与开源 阅读全文
posted @ 2026-07-22 11:24 海豚调度 阅读(8) 评论(0) 推荐(0)