摘要: 去年团队做数据平台选型的时候,老板直接甩出一句话:"Airflow 太重了,运维成本扛不住,找个轻量点的替代品。" 阅读全文
posted @ 2026-03-20 09:58 海豚调度 阅读(4) 评论(0) 推荐(0)
摘要: Community Over Code Asia 2026 将于今年 8 月 7 日—9 日在北京举行,大会议题征集也已全面启动。 阅读全文
posted @ 2026-03-19 18:09 海豚调度 阅读(3) 评论(0) 推荐(0)
摘要: 随着互联网的飞速发展,电子邮件作为重要的信息交流工具之一,其数据处理和任务调度的需求日益增长。网易邮箱作为国内领先的电子邮件服务提供商,为了更好地应对海量数据的处理和任务调度挑战,引入了DolphinScheduler平台,并在实际应用中进行了深入的部署与优化实践。 阅读全文
posted @ 2026-03-19 17:24 海豚调度 阅读(9) 评论(0) 推荐(0)
摘要: 本文为 《深入理解 Apache DolphinScheduler:从调度原理到 DataOps 实战》 系列专栏第五篇,将以 Apache DolphinScheduler 为例,解析调度系统中的失败重试、手动重跑与补数回填机制,澄清调度语义中的 Exactly Once 含义,并总结常见误用场景与实践建议,帮助构建稳定可靠的数据调度体系。 阅读全文
posted @ 2026-03-13 10:30 海豚调度 阅读(17) 评论(0) 推荐(0)
摘要: Apache DolphinScheduler 社区近日正式发布 3.4.1 版本。作为 3.4.x 系列的一个维护版本,本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。 阅读全文
posted @ 2026-03-13 09:59 海豚调度 阅读(27) 评论(0) 推荐(0)
摘要: 2026 年 2 月,Apache DolphinScheduler 社区保持了活跃的开发节奏。本月的工作重心围绕着系统稳定性的提升、现有功能的改进以及代码质量的优化。社区成员们在修复 Bug、增强用户体验、完善文档以及推进重要架构决策等方面都做出了积极的贡献。 阅读全文
posted @ 2026-03-05 11:42 海豚调度 阅读(11) 评论(0) 推荐(0)
摘要: 在所有调度系统的核心机制中,真正决定“是否可靠”的,从来都不是 UI、线程池或分布式框架,而是状态机。 阅读全文
posted @ 2026-03-05 11:25 海豚调度 阅读(16) 评论(0) 推荐(0)
摘要: 想象一下,你寄送的重要快递被退回了,快递员不会直接丢弃,而是根据你的要求间隔几小时后重新投递,直到成功或达到最大投递次数。Apache DolphinScheduler的任务重试机制就是这种“智能重投”的调度系统版。 阅读全文
posted @ 2026-02-27 10:37 海豚调度 阅读(24) 评论(0) 推荐(0)
摘要: 但一个始终绕不开的问题是:当时间到了,或者事件发生了,这个 Workflow 到底是如何一步步“跑起来”的? 阅读全文
posted @ 2026-02-10 14:47 海豚调度 阅读(36) 评论(0) 推荐(0)
摘要: 本文为《深入理解 Apache DolphinScheduler:从调度原理到 DataOps 实战》系列专栏第 2 篇,从源码与调度模型视角,解析 DolphinScheduler 的核心抽象设计,重点说明 Workflow、TaskDefinition 与实例对象的职责边界,并结合 DAG 示意图解释调度系统如何基于依赖判断驱动复杂任务编排。 阅读全文
posted @ 2026-02-04 18:16 海豚调度 阅读(18) 评论(0) 推荐(0)