随笔分类 -  Apache DolphinScheduler

摘要:Community Over Code Asia 2026 将于今年 8 月 7 日—9 日在北京举行,大会议题征集也已全面启动。 阅读全文
posted @ 2026-03-19 18:09 海豚调度 阅读(1) 评论(0) 推荐(0)
摘要:本文为 《深入理解 Apache DolphinScheduler:从调度原理到 DataOps 实战》 系列专栏第五篇,将以 Apache DolphinScheduler 为例,解析调度系统中的失败重试、手动重跑与补数回填机制,澄清调度语义中的 Exactly Once 含义,并总结常见误用场景与实践建议,帮助构建稳定可靠的数据调度体系。 阅读全文
posted @ 2026-03-13 10:30 海豚调度 阅读(13) 评论(0) 推荐(0)
摘要:2026 年 2 月,Apache DolphinScheduler 社区保持了活跃的开发节奏。本月的工作重心围绕着系统稳定性的提升、现有功能的改进以及代码质量的优化。社区成员们在修复 Bug、增强用户体验、完善文档以及推进重要架构决策等方面都做出了积极的贡献。 阅读全文
posted @ 2026-03-05 11:42 海豚调度 阅读(10) 评论(0) 推荐(0)
摘要:在所有调度系统的核心机制中,真正决定“是否可靠”的,从来都不是 UI、线程池或分布式框架,而是状态机。 阅读全文
posted @ 2026-03-05 11:25 海豚调度 阅读(16) 评论(0) 推荐(0)
摘要:想象一下,你寄送的重要快递被退回了,快递员不会直接丢弃,而是根据你的要求间隔几小时后重新投递,直到成功或达到最大投递次数。Apache DolphinScheduler的任务重试机制就是这种“智能重投”的调度系统版。 阅读全文
posted @ 2026-02-27 10:37 海豚调度 阅读(22) 评论(0) 推荐(0)
摘要:本文将深入介绍 Apache DolphinScheduler 所采用的数据库模式,此模式主要用于持久化存储工作流定义、执行状态、调度信息以及系统元数据。 阅读全文
posted @ 2026-01-28 16:41 海豚调度 阅读(39) 评论(0) 推荐(0)
摘要:已经在虚拟机部署好Apache DolphinScheduler了,想尝试下在Flink新建一个Flink节点,然后用Flink消费Kafka数据。 阅读全文
posted @ 2026-01-28 10:33 海豚调度 阅读(34) 评论(0) 推荐(0)
摘要:最新消息,Apache DolphinScheduler 3.4.0 已正式发布! 阅读全文
posted @ 2026-01-22 15:36 海豚调度 阅读(132) 评论(0) 推荐(0)
摘要:本文系统梳理 Apache DolphinScheduler 3.3.2 各服务(master/worker/api/alert/standalone)目录、JVM、数据源、注册中心、存储、Quartz、环境变量及日志等关键配置项、默认值与作用,为部署调优提供一站式参考。 阅读全文
posted @ 2026-01-08 16:24 海豚调度 阅读(220) 评论(0) 推荐(0)
摘要:过去一年,Apache DolphinScheduler 已深入更多企业生产环境,为复杂任务调度提供解决方案。社区精心整理了应用实践,汇编成《2025 年 Apache DolphinScheduler 案例精选集》,现已 重磅发布,限时 7 天免费领取! 阅读全文
posted @ 2026-01-08 16:00 海豚调度 阅读(60) 评论(0) 推荐(1)
摘要:2025 年转瞬即逝,这一年里,Apache DolphinScheduler 收获了不少成果。GitHub 上关注我们项目的人越来越多,Star 和 Fork 数量也在不断增长。我们还发布了多个重要版本,带来了多项实用功能,提升了系统性能和智能化程度。 阅读全文
posted @ 2026-01-08 15:35 海豚调度 阅读(20) 评论(0) 推荐(0)
摘要:飞书告警创建指南。 阅读全文
posted @ 2025-11-19 14:59 海豚调度 阅读(90) 评论(0) 推荐(0)
摘要:过去两周,我们对开源之夏活动中表现优异的开发者们进行了简单的采访,初步粗略地了解了一下他们的开发过程和心得体会。今天,我们将通过同学们的完整结项报告,深入了解项目的开发技术细节,希望能够帮助大家更好地了解 Apache DolphinScheduler 项目的最新进展。 阅读全文
posted @ 2025-11-19 11:48 海豚调度 阅读(232) 评论(0) 推荐(0)
摘要:本次版本重点围绕 性能优化、稳定性增强、文档完善与关键问题修复 展开,为广大用户带来更加顺畅、可靠的数据工作流编排体验。 阅读全文
posted @ 2025-11-05 11:51 海豚调度 阅读(178) 评论(0) 推荐(0)
摘要:最近使用 Apache DolphinScheduler 调度任务,不可避免地使用到【补数据】功能,经过不断尝试,终于成功运行了【补数据】功能,以此帖记录。 阅读全文
posted @ 2025-10-29 14:40 海豚调度 阅读(240) 评论(0) 推荐(0)
摘要:本文聚焦某大数据团队的实战优化经验,系统阐述该团队的核心实践:针对任务依赖机制的源码级改造(新增节点级别判断逻辑)、与Open-Falcon的告警对接升级(实现信息精简、优先级分级与分群推送),以及组件监控体系的构建(含节点存活检测与自愈能力)等。 阅读全文
posted @ 2025-10-23 16:12 海豚调度 阅读(111) 评论(0) 推荐(0)
摘要:今年的 GSoC 已近尾声,在这场代码开发盛宴中,Apache DolphinScheduler 的开发者们积极参与,取得了一项对用户意义重大的成果——引入通用 OIDC 认证,实现无缝安全访问。 阅读全文
posted @ 2025-10-23 10:47 海豚调度 阅读(99) 评论(0) 推荐(0)
摘要:本文将介绍 Apache DolphinScheduler 的 Worker 负载均衡,含加权随机、平滑轮询、线性负载(默认)三种算法,及配置修改、Worker 权重与预热机制,并细述各算法原理。详情可参考文末源文档地址。 阅读全文
posted @ 2025-10-15 18:48 海豚调度 阅读(104) 评论(0) 推荐(0)
摘要:本文将介绍 Apache DolphinScheduler 的 Worker 负载均衡,含加权随机、平滑轮询、线性负载(默认)三种算法,及配置修改、Worker 权重与预热机制,并细述各算法原理。详情可参考文末源文档地址。 阅读全文
posted @ 2025-10-15 18:38 海豚调度 阅读(80) 评论(0) 推荐(0)
摘要:本文是 Apache DolphinScheduler 3.1.9 版本源码解读的第二篇:Worker Server 启动流程源码解读以及相关流程设计。结尾处附有相关流程图,供大家参考。 阅读全文
posted @ 2025-09-25 10:27 海豚调度 阅读(94) 评论(0) 推荐(0)