合集-Apache DolphinScheduler
摘要：Apache DolphinScheduler 是一个分布式、去中心化的大数据工作流调度系统，支持大数据任务调度。若要设置 DolphinScheduler 开机自启动，通常需要将其配置为系统服务。以下是一般步骤，具体操作可能因操作系统的不同而有所差异。
阅读全文
摘要：这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！
阅读全文
摘要：2024年社区高光时刻总结！ 亲爱的朋友们，让我们把时间的快门按下，一起回顾这一年的点点滴滴。就像翻阅一本精彩的相册，每一张照片都记录着我们Apache DolphinScheduler社区的欢笑和泪水。那么，准备好了吗？让我们一起跳进时光机，回顾社区里2024年那些难忘的瞬间吧！ 时光荏苒，新年将
阅读全文
摘要：作者 | Alireza Sadeghi 译自Practical Data Engineering 2025年开源数据工程领域呈现蓬勃创新与生态重构的双重态势，九大技术赛道在实时化、轻量化与云原生架构驱动下加速演进。一份来自外网的2025年开源数据工程全景图全面地展示了这一领域的发展态势与走向，现翻
阅读全文
摘要：2025年“开源之夏”（OSPP）再次启航！Apache DolphinScheduler作为全球领先的分布式可视化DAG工作流任务调度系统，连续多年入选这一开源盛典，今年将继续携手社区开发者，面向社区招募1名资深导师，共同推动大数据调度技术的创新与落地。
阅读全文
摘要：近期，Apache DolphinScheduler进行了版本更新，发布了3.3.0 alpha版本。Apache DolphinScheduler 3.3.0 alpha版本在任务管理、容错能力、扩展性等方面实现跨越式升级，为大规模工作流调度提供更稳定、灵活的解决方案。但需要提醒的是，此版本为alpha版本，请谨慎更新使用。
阅读全文
摘要：Apache DolphinScheduler 的存储系统提供统一接口，支持跨多种存储后端（如本地文件系统、云存储）进行文件存取。其核心功能是管理工作流和任务所需的资源文件（如脚本、JAR包、配置文件），并通过抽象底层存储技术，实现无缝切换存储方案而无需修改应用代码。
阅读全文
摘要：Apache DolphinScheduler单节点部署及测试报告。
阅读全文
摘要：在大数据系统中，工作流调度是连接数据采集、处理、分析和输出的核心枢纽。一个稳定、可扩展、可观测的调度系统，直接影响到整个数据链路的效率与可靠性。本文围绕“大数据工作流调度”，总结了开发者在实际开发和运维过程中最常遇到的十个关键问题及其解决思路，帮助你更深入理解调度系统的设计与落地实践。
阅读全文
摘要：近日，“开源之夏 2025”项目正式进入公示期，Apache DolphinScheduler 社区传来喜讯！本次共有两项学生项目成功入选，分别聚焦在 Kubernetes 调度优化与插件体系增强方向，展现出社区在调度引擎可扩展性和云原生兼容性方面的持续演进。
阅读全文
摘要：亲爱的 DolphinScheduler 开发者与用户们，DolphinScheduler 社区 5、6 月月报重磅发布啦！本期月报记录了社区在过去两个月的重要进展。
阅读全文
摘要：近日，在 2025 上海开源创新菁英荟上，由中国团队主导的Apache DolphinScheduler荣获 「优秀开源项目奖」。这个从中国走向全球的大数据调度平台，凭借技术突破与行业实践，成为全球 3000 余家企业的核心调度引擎。
阅读全文
摘要：在DolphinScheduler中假如遇到创建租户时，报错，错误日志显示权限不足。
阅读全文
摘要：随着生成式 AI 技术飞速发展，开源模式正在成为推动经济转型的重要驱动力。
阅读全文
摘要：用户可以在DolphinScheduler Web界面轻松创建、编辑和调度云原生数据仓库 AnalyticDB MySQL 版的Spark作业。
阅读全文
摘要：DolphinScheduler 准备引入 Copilot 聊天助手啦！借助大语言模型（如 OpenAI），帮助用户智能编写 SQL、优化代码、答疑解惑，大幅提升开发体验。
阅读全文
摘要：本文将结合 Zoom 实际业务落地过程中的经验，深入解读这一系统的设计演进、关键问题应对与未来规划。
阅读全文
摘要：本文结合真实案例，详细介绍 DolphinScheduler 3.1.9 的二次开发环境配置流程，希望为有定制化开发需求的用户提供实用、可靠的参考。
阅读全文
摘要：在本期技术分享中，我们将邀请天翼云研发专家，带来关于天翼云翼MR加载Apache DolphinScheduler的实践经验和社区贡献的精彩演讲。
阅读全文
摘要：本文描述通过 Rainbond 云原生应用管理平台 一键部署高可用的 DolphinScheduler 集群，这种方式适合给不太了解 Kubernetes、容器化等复杂技术的用户使用，降低了在 Kubernetes 中部署 DolphinScheduler 的门槛。
阅读全文
摘要：本文将带你一步步通过外部PostgreSQL和Zookeeper来启动Apache DolphinScheduler。
阅读全文
摘要：在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些使用Datax做数据集成的实际经验，分享如下。
阅读全文
摘要：本文介绍了基于 DolphinScheduler 的离线数据治理平台，解决了任务依赖黑洞和扩展性瓶颈问题。通过 YAML 动态编译和血缘自动捕获，实现了高效的任务依赖管理和数据追踪。平台使用 Neo4j 图数据库进行血缘存储，支持秒级影响分析和根因定位。此外，结合自研高性能导入工具，大幅提升数据传输效率。
阅读全文
摘要：通过这些改进，我们期望能够帮助用户使用Apache DolphinScheduler更有效地部署和管理他们的作业，无论是在Webex DC还是在EKS上，同时提高资源管理的效率和安全性。
阅读全文
摘要：7 月份，Apache DolphinScheduler 社区持续高能迭代，多个核心模块迎来重要修复与优化。在 K8S 环境下解决了 PodIP 变化导致无法重新连接 Zookeeper 的问题，依赖任务、变量池、COS 资源管理等功能均获关键修复，提升了系统稳定性与可用性。
阅读全文
摘要：在数据驱动与智能化的浪潮下，数据调度平台的价值正在被重新定义。天翼云翼 MR 与 Apache DolphinScheduler 的结合，不仅是一次技术选型，更是一次从社区到企业的深度融合与创新探索。
阅读全文
摘要：在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，遇到了任务过多僵死的问题，解决思路分享如下。
阅读全文
摘要：为了帮助社区把这条进阶之路走成“高速公路”，8 月 Apache DolphinScheduler 线上 Meetup 特别邀请到上海奇虎科技有限公司的数据专家王远朋，现场拆解他在一线生产环境中完成 DolphinScheduler on K8s 部署改造的全过程，带来从踩坑到调优的硬核实战经验，助你一次把“云原生调度自由”收入囊中。
阅读全文
摘要：本文详细介绍了Apache DolphinScheduler的RESTful API接口体系及其在企业系统集成中的应用。内容涵盖API架构设计、核心控制器模块、统一响应格式、认证授权机制、错误处理体系以及Swagger接口文档。同时深入探讨了Java SDK集成开发指南，包括环境准备、核心API接口、工作流编程式创建与管理，以及与企业现有系统的集成方案。文章提供了丰富的代码示例和最佳实践，帮助开发者全面掌握DolphinScheduler的API开发与集成能力。
阅读全文
摘要：我们迎来了 Apache DolphinScheduler 的又一次重要更新——3.3.1 版本正式发布！🎉
阅读全文
摘要：在项目上实际使用了 DolphinScheduler 一段时间后，我遇到了任务组功能因为 MySQL 时区的原因报错的问题。经过探索这个问题已经解决了，解决思路分享如下。
阅读全文
摘要：本文将从架构层面深入分析常见故障类型，提供详细的排查思路和解决方案，帮助运维人员和开发者快速定位并解决问题。
阅读全文
摘要：本文就主要探讨如何在 ApacheDolphinScheduler 上更好地玩转 Workflow， 以帮助大家更好地管理数据处理任务。
阅读全文
摘要：本文记录了在 Ubuntu 22.04 上部署 Apache DolphinScheduler（伪集群模式）的完整过程，涵盖环境准备、安装配置、数据库初始化、用户创建及服务启动等步骤。适合个人学习、功能验证或测试使用。
阅读全文
摘要：在现代数据驱动的企业中，工作流调度系统是数据管道（Data Pipeline）的“中枢神经”。从 ETL 任务到机器学习训练，从报表生成到实时监控，几乎所有关键业务都依赖于一个稳定、高效、易扩展的调度引擎。
阅读全文
摘要：本文是 Apache DolphinScheduler 3.1.9 版本源码解读的第二篇：Worker Server 启动流程源码解读以及相关流程设计。结尾处附有相关流程图，供大家参考。
阅读全文
摘要：3.3.1版本机器启动方式变得更复杂了，但是集群功能变得更好用了，资源利用率提高了。
阅读全文
摘要：本文将介绍 Apache DolphinScheduler 的 Worker 负载均衡，含加权随机、平滑轮询、线性负载（默认）三种算法，及配置修改、Worker 权重与预热机制，并细述各算法原理。详情可参考文末源文档地址。
阅读全文
摘要：本文将介绍 Apache DolphinScheduler 的 Worker 负载均衡，含加权随机、平滑轮询、线性负载（默认）三种算法，及配置修改、Worker 权重与预热机制，并细述各算法原理。详情可参考文末源文档地址。
阅读全文
摘要：今年的 GSoC 已近尾声，在这场代码开发盛宴中，Apache DolphinScheduler 的开发者们积极参与，取得了一项对用户意义重大的成果——引入通用 OIDC 认证，实现无缝安全访问。
阅读全文
摘要：本文聚焦某大数据团队的实战优化经验，系统阐述该团队的核心实践：针对任务依赖机制的源码级改造（新增节点级别判断逻辑）、与Open-Falcon的告警对接升级（实现信息精简、优先级分级与分群推送），以及组件监控体系的构建（含节点存活检测与自愈能力）等。
阅读全文
摘要：本月聚焦功能修复与性能优化，修复工作流计划设置、HDFS 存储启动等关键问题，优化数据库索引、Quartz 数据源配置等提升性能，11 位贡献者共完成多项 PR，保障系统稳定高效运行。
阅读全文
摘要：最近使用 Apache DolphinScheduler 调度任务，不可避免地使用到【补数据】功能，经过不断尝试，终于成功运行了【补数据】功能，以此帖记录。
阅读全文
摘要：随着业务规模扩大，Azkaban 的短板逐渐暴露。
阅读全文
摘要：本次版本重点围绕 性能优化、稳定性增强、文档完善与关键问题修复 展开，为广大用户带来更加顺畅、可靠的数据工作流编排体验。
阅读全文
摘要：今年的开源之夏活动已接近尾声，Apache DolphinScheduler 社区的开发者在经过漫长的开发过程收获了自己的成果，同时为 Apache DolphinScheduler 带来了全新的任务插件 gRPC。
阅读全文
摘要：本文基于海豚调度3.1.9版本将系统梳理 DolphinScheduler 中各类参数的使用方法，涵盖内置参数、衍生函数、日期计算、全局变量设置以及跨任务参数传递等核心场景，助你彻底掌握参数使用的“正确姿势”。
阅读全文
摘要：过去两周，我们对开源之夏活动中表现优异的开发者们进行了简单的采访，初步粗略地了解了一下他们的开发过程和心得体会。今天，我们将通过同学们的完整结项报告，深入了解项目的开发技术细节，希望能够帮助大家更好地了解 Apache DolphinScheduler 项目的最新进展。
阅读全文
摘要：飞书告警创建指南。
阅读全文
摘要：2025 年转瞬即逝，这一年里，Apache DolphinScheduler 收获了不少成果。GitHub 上关注我们项目的人越来越多，Star 和 Fork 数量也在不断增长。我们还发布了多个重要版本，带来了多项实用功能，提升了系统性能和智能化程度。
阅读全文
摘要：过去一年，Apache DolphinScheduler 已深入更多企业生产环境，为复杂任务调度提供解决方案。社区精心整理了应用实践，汇编成《2025 年 Apache DolphinScheduler 案例精选集》，现已 重磅发布，限时 7 天免费领取！
阅读全文
摘要：本文系统梳理 Apache DolphinScheduler 3.3.2 各服务（master/worker/api/alert/standalone）目录、JVM、数据源、注册中心、存储、Quartz、环境变量及日志等关键配置项、默认值与作用，为部署调优提供一站式参考。
阅读全文
摘要：这里按照官方提供的文档进行操作。
阅读全文
摘要：最新消息，Apache DolphinScheduler 3.4.0 已正式发布！
阅读全文
摘要：已经在虚拟机部署好Apache DolphinScheduler了，想尝试下在Flink新建一个Flink节点，然后用Flink消费Kafka数据。
阅读全文
摘要：本文将深入介绍 Apache DolphinScheduler 所采用的数据库模式，此模式主要用于持久化存储工作流定义、执行状态、调度信息以及系统元数据。
阅读全文
摘要：很多团队一开始都把调度系统当成“定时跑任务的工具”，直到任务规模上来、依赖变复杂、失败开始难以恢复，才意识到问题的根源并不在脚本本身。
阅读全文
摘要：本文为《深入理解 Apache DolphinScheduler：从调度原理到 DataOps 实战》系列专栏第 2 篇，从源码与调度模型视角，解析 DolphinScheduler 的核心抽象设计，重点说明 Workflow、TaskDefinition 与实例对象的职责边界，并结合 DAG 示意图解释调度系统如何基于依赖判断驱动复杂任务编排。
阅读全文
摘要：但一个始终绕不开的问题是：当时间到了，或者事件发生了，这个 Workflow 到底是如何一步步“跑起来”的？
阅读全文
摘要：想象一下，你寄送的重要快递被退回了，快递员不会直接丢弃，而是根据你的要求间隔几小时后重新投递，直到成功或达到最大投递次数。Apache DolphinScheduler的任务重试机制就是这种“智能重投”的调度系统版。
阅读全文
摘要：在所有调度系统的核心机制中，真正决定“是否可靠”的，从来都不是 UI、线程池或分布式框架，而是状态机。
阅读全文
摘要：2026 年 2 月，Apache DolphinScheduler 社区保持了活跃的开发节奏。本月的工作重心围绕着系统稳定性的提升、现有功能的改进以及代码质量的优化。社区成员们在修复 Bug、增强用户体验、完善文档以及推进重要架构决策等方面都做出了积极的贡献。
阅读全文
摘要：Apache DolphinScheduler 社区近日正式发布 3.4.1 版本。作为 3.4.x 系列的一个维护版本，本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。
阅读全文
摘要：本文为 《深入理解 Apache DolphinScheduler：从调度原理到 DataOps 实战》 系列专栏第五篇，将以 Apache DolphinScheduler 为例，解析调度系统中的失败重试、手动重跑与补数回填机制，澄清调度语义中的 Exactly Once 含义，并总结常见误用场景与实践建议，帮助构建稳定可靠的数据调度体系。
阅读全文
摘要：随着互联网的飞速发展，电子邮件作为重要的信息交流工具之一，其数据处理和任务调度的需求日益增长。网易邮箱作为国内领先的电子邮件服务提供商，为了更好地应对海量数据的处理和任务调度挑战，引入了DolphinScheduler平台，并在实际应用中进行了深入的部署与优化实践。
阅读全文
摘要：Community Over Code Asia 2026 将于今年 8 月 7 日—9 日在北京举行，大会议题征集也已全面启动。
阅读全文
摘要：去年团队做数据平台选型的时候，老板直接甩出一句话："Airflow 太重了，运维成本扛不住，找个轻量点的替代品。"
阅读全文
摘要：在 Apache DolphinScheduler 中，多租户并不是一个“权限附属功能”，而是调度系统的核心执行模型。它真正解决的不是“谁能用系统”，而是：任务以什么身份执行、消耗哪一类资源、以及如何避免相互影响。
阅读全文
摘要：恭喜@向梓豪同学近期受邀成为 ASF Member！作为 Apache DolphinScheduler 的 PMC Member，社区为他获此殊荣感到由衷的开心。
阅读全文
摘要：嘿！2026 年 3 月 月报来啦！Apache DolphinScheduler 社区超给力~ 13 位小伙伴踊跃贡献代码，发布了 3.4.1 昕版本，调度增强、任务插件升级，还优化 API 与 UI，修复超 15 个 Bug。
阅读全文
摘要：本文面向希望在本地阅读和调试 DolphinScheduler 核心源码的开发者，示例环境为 Windows + IntelliJ IDEA + Docker Desktop + PostgreSQL + ZooKeeper。
阅读全文
摘要：如果你做过调度系统，大概率经历过这样的时刻：
凌晨两点，手机突然亮了。
不是消息，是报警——任务挂了。
你盯着屏幕，脑子里只剩一句话：
“能不能让它自己修？”
阅读全文
摘要：在生产环境中，调度平台的性能问题从来不是单点瓶颈，而是调度决策、任务执行、元数据存储、协调机制等多层因素叠加的结果。以 Apache DolphinScheduler 为例，如果你只盯着某一个组件（比如 Master 或 Worker），往往会误判问题根因。
阅读全文
摘要：在数据平台不断演进的过程中，一个非常常见但又隐蔽的误区是：团队会不自觉地让调度系统承担越来越多“本不属于它”的职责。
阅读全文
摘要：Community Over Code Asia 2026 将于今年 8 月 7 日—9 日在北京举行，大会议题征集也进入倒计时！ 4 月 21 日 23:59，报名通道将准时关闭，计划来参加这场全世界开源盛会的小伙伴，请抓紧时间投递你的议题！
阅读全文
摘要：在数字化转型浪潮席卷全球的今天，智能制造已成为制造业高质量发展的核心引擎。然而，在迈向智能化的道路上，企业面临着诸多挑战：多系统数据孤岛、复杂的调度依赖、监控告警滞后等问题层出不穷。
阅读全文
摘要：如果你做过调度系统，大概率经历过这样的时刻：
凌晨两点，手机突然亮了。
不是消息，是报警——任务挂了。
你盯着屏幕，脑子里只剩一句话：
“能不能让它自己修？”
阅读全文
摘要："与 DolphinScheduler 集成有时间再写吧，欠的东西太多了。"，现在项目快部署了，特此来还债。
阅读全文
摘要：在数据平台不断演进的过程中，很多团队都会经历一个关键转折点：调度系统已经足够稳定，任务也能够按时运行，但整体效率却没有提升，反而随着规模扩大变得越来越难维护。问题的根源在于，平台仍然停留在“任务调度”的层面，而没有上升到“工程治理”的层面。
阅读全文
摘要：概念解释：DAG：有向无环图，有顺序，但是不会形成环的图表。
海豚调度的API接口：http://YOURID:12345/dolphinscheduler/swagger-ui/index.html
需要先自行安装DataX和SeaTunnel
阅读全文
摘要：这套打通「群聊告警→智能诊断→自动恢复→报告闭环」的全链路系统，可以很好地解决传统运维碎片化、高耗时、反复跨系统跳转的痛点，
阅读全文
摘要：本月报对 4 月份社区研发进行了整理统计，发现在这段时间， Apache DolphinScheduler 主干（dev）合并强度明显提升：一方面是云原生部署与插件生态的持续补齐，另一方面则是面向可维护性的大规模清理与重构。
阅读全文
摘要：原理上有相似性（都是调度框架），但DolphinScheduler是“任务级的调度”，Spring Cloud Data Flow是“应用级的编排”。
阅读全文
摘要：调度系统正在从单一的时间驱动工具演变为融合事件驱动、云原生、智能化的综合数据编排平台。DolphinScheduler 凭借其去中心化的架构设计、插件化的扩展机制和云原生的部署支持，已经为这场演进奠定了坚实基础。
阅读全文
摘要：为什么要跨越大版本？
阅读全文
摘要：因为我们的数仓数据源是Kafka，离线数仓需要用Flume采集Kafka中的数据到HDFS中。
阅读全文
摘要：在现代数据驱动的企业中，工作流调度系统是数据管道（Data Pipeline）的“中枢神经”。从 ETL 任务到机器学习训练，从报表生成到实时监控，几乎所有关键业务都依赖于一个稳定、高效、易扩展的调度引擎。
阅读全文
摘要：当 DolphinScheduler 的任务失败之后，如何安全地让它重新“站”起来？
阅读全文
摘要：2026 年 5 月的 DolphinScheduler 社区更新，关键词只有两个：稳 与 准。一方面，Master failover 这类“线上一出问题就影响面很大”的稳定性隐患被补齐；另一方面，API 权限校验、插件依赖冲突、远程任务空指针这类“用着用着就踩坑”的细节也被系统性修复。
阅读全文
摘要：你是不是经常遇到这种情况？一个数据库备份或者查询任务，跑起来没完没了，等你发现时，业务已经受到影响了。别担心，今天我就分享一个我亲自验证过的高效方法：用 Apache DolphinScheduler 设置执行超时告警，时间一到，信息立刻推送到你的飞书（或钉钉/企业微信），让你时刻掌握任务动态！
阅读全文
摘要：近日，Apache DolphinScheduler 社区正式发布 3.4.2 版本。
阅读全文
摘要：在企业数据平台建设过程中，数据同步是一项非常常见的需求。随着业务规模不断增长，全量同步带来的数据库压力和资源消耗也会越来越大。因此，在实际生产环境中，增量同步往往是更常见的选择。
阅读全文
摘要：今天我们将深入探讨一个备受关注的话题：如何使用
MySQL元数据库，通过 Docker Compose 快速部署
Apache DolphinScheduler 3.1.9 集群。
阅读全文
摘要：在本文中，我们将使用 Apache DolphinScheduler 逐步创建和运行一个简单的工作流。在这段旅程中，你将学习 DolphinScheduler 的基本概念，并了解运行工作流的最基本配置。我们在本教程中提供了视频和文字两种方式，你可以选择喜欢的方式。
阅读全文
摘要：在数据驱动的业务决策成为常态的今天，一个高效、灵活且成本可控的数据处理流水线是企业数据中台的核心竞争力。
阅读全文
摘要：DolphinScheduler 的插件体系基于 Java SPI（Service Provider Interface） 机制，配合 Google AutoService 自动生成注册文件，实现了零侵入的插件化扩展
阅读全文
摘要：已经在虚拟机部署好Apache DolphinScheduler了，想尝试下在Flink新建一个Flink节点，然后用Flink消费Kafka数据。
阅读全文
摘要：在分布式调度系统的架构设计中，注册中心的选择往往决定了系统的复杂度和运维成本。Apache DolphinScheduler作为一款成熟的分布式工作流调度系统，虽然默认使用ZooKeeper作为注册中心，但已经提供了多种替代方案，让用户可以根据自身技术栈和运维能力做出灵活选择。
阅读全文
摘要：SuperSonic 是腾讯音乐开源的下一代 AI+BI 平台，统一了 Chat BI（由 LLM 驱动）和 Headless BI（由语义层驱动）两种范式。
阅读全文
摘要：版本升级路线：v1.3.6 -> v2.0.0 -> v2.0.9 -> v3.0.0 -> v3.1.8 -> v3.2.2
阅读全文
摘要：社区朋友们，今年 6 月份的社区月报来啦！不同于常规月度大版本功能迭代，本月 Apache DolphinScheduler 社区全力深耕底层治理！小伙伴们重点打磨了平台稳定性，比如完成 3.4.2 版本运维闭环、优化任务故障转移能力、修复高并发偶发故障、落地日志敏感数据脱敏，补齐部署、存储、CI 工程等各类线上细碎短板。
阅读全文
摘要：在DolphinScheduler运行过程中，有时会出现任务界面显示"运行中"状态，但实际进程已经死亡的情况。这种状态不一致会导致工作流无法正常推进，需要手动干预。本文将针对不同版本提供安全清理方案。
阅读全文
摘要：随着企业数据规模的快速增长，传统物理机或虚拟机部署Apache DolphinScheduler面临着环境配置复杂、资源利用率低、扩展性差等痛点。特别是在需要运行Spark等大数据计算任务时，手动维护多套环境、处理依赖冲突、应对突发流量等问题更是让运维团队疲于奔命。
阅读全文
摘要：从 1.3 版本到 3.X 版本，Apache DolphinScheduler 已经经历了数次迭代，有了不少变化，相信大家都注意到了。 本文将从表结构演进、任务类型扩展、注册中心多样化、架构设计优化和功能增强五个维度，系统对比 Apache DolphinScheduler 1.3 系列与 3.x
阅读全文
浙公网安备 33010602011771号