08 2026 档案
摘要:一次 ClickHouse 宕机引发的「血案」:200+ 任务疯狂重试把 CK 打挂,串行等待策略造成死锁,任务动弹不得。本文记录完整的排查过程和终极解决方案。 一、事故背景 1.1 事故经过 时间线: 2026-02-03:ClickHouse 挂了,DolphinScheduler 任务随之停止
阅读全文
摘要:📝 摘要:DolphinScheduler 单机模式(Standalone)Docker 部署实战:先对比单机、伪集群、集群三种模式的取舍,再手把手四步搭建——部署 MySQL 并用它替换默认 H2、初始化官方建表 SQL、挂载 MySQL 驱动、docker Compose 启动容器。 三个必踩
阅读全文
摘要:一、背景与选型 1.1 定义 Apache DolphinScheduler 是一个可视化、分布式的大数据工作流任务调度系统。 通俗点说,就是用来编排和自动执行你那些复杂ETL任务的“指挥中心”。可以把之前写的各个SQL脚本、Shell 脚本,都拖拽成一个有依赖关系的流程图(DAG),然后设定好时间
阅读全文
摘要:AI 编程能力正在以前所未有的速度发展,也正在重新定义开源软件的开发、协作与维护方式。面对下一代人机协作的技术浪潮,开源贡献模式也迎来了新的变化。 开源之夏 2026 全新启航,正式迈入“点亮计划 2.0”时代!今年,Apache DolphinScheduler 将继续参与开源之夏经典模式,诚邀社
阅读全文
摘要:Apache DolphinScheduler 本身并没有针对任务组槽位设计"超时强制回收"的功能;它的"自动回收"机制其实是一致性纠正 + 正常释放 + 强制启动三种手段的组合,全部由 TaskGroupCoordinator 后台线程周期性执行完成。 如果要解决任务组资源被长时间占用时,想要让系
阅读全文
摘要:大模型浪潮下,如何让数据工作流走向智能化?
阅读全文
摘要:Apache DolphinScheduler 的并发控制横跨 Master、单个流程实例、Worker 三个层级,用户遇到的绝大多数"并发不达预期"问题,本质上都是没有分清这三层参数各自管的是什么。
阅读全文
摘要:本文将逐步解析 DolphinScheduler 的关键脚本,希望能提供一个详尽的操作指南,帮助大家掌握安装、配置和操作的每一步。
阅读全文
摘要:dsctl 是社区维护的第三方 CLI,通过 REST API 操作 Apache DolphinScheduler®。工程师、Shell 脚本、CI/CD 和 AI Agent(下文简称 Agent)使用同一套命令。项目采用 Apache License 2.0 开源。
阅读全文
摘要:一、前言 本文是一篇关于Apache DolphinScheduler 在实际项目中的应用实战笔记,包含 DolphinScheduler 执行 SQL 或存储过程、调用 DataX 同步数据、HTTP 接口多种任务节点类型及其配置方法,并提供了丰富的配置示例和参数说明,适合需要快速上手 Dolph
阅读全文
浙公网安备 33010602011771号