摘要: 最近使用 Apache DolphinScheduler 调度任务,不可避免地使用到【补数据】功能,经过不断尝试,终于成功运行了【补数据】功能,以此帖记录。 阅读全文
posted @ 2025-10-29 14:40 海豚调度 阅读(57) 评论(0) 推荐(0)
摘要: 本月聚焦功能修复与性能优化,修复工作流计划设置、HDFS 存储启动等关键问题,优化数据库索引、Quartz 数据源配置等提升性能,11 位贡献者共完成多项 PR,保障系统稳定高效运行。 阅读全文
posted @ 2025-10-29 11:19 海豚调度 阅读(18) 评论(0) 推荐(0)
摘要: 近日,第十届“创客中国”北京市中小企业创新创业大赛暨“创客北京2025”创新创业大赛结果揭晓,北京白鲸开源科技有限公司凭借“白鲸开源-Agentic AI 时代下的数据基础设施平台”,荣登企业组 TOP150,并获得大赛组委会颁发的获奖证书。 阅读全文
posted @ 2025-10-23 16:29 海豚调度 阅读(7) 评论(0) 推荐(0)
摘要: 本文聚焦某大数据团队的实战优化经验,系统阐述该团队的核心实践:针对任务依赖机制的源码级改造(新增节点级别判断逻辑)、与Open-Falcon的告警对接升级(实现信息精简、优先级分级与分群推送),以及组件监控体系的构建(含节点存活检测与自愈能力)等。 阅读全文
posted @ 2025-10-23 16:12 海豚调度 阅读(13) 评论(0) 推荐(0)
摘要: 今年的 GSoC 已近尾声,在这场代码开发盛宴中,Apache DolphinScheduler 的开发者们积极参与,取得了一项对用户意义重大的成果——引入通用 OIDC 认证,实现无缝安全访问。 阅读全文
posted @ 2025-10-23 10:47 海豚调度 阅读(61) 评论(0) 推荐(0)
摘要: 本文将介绍 Apache DolphinScheduler 的 Worker 负载均衡,含加权随机、平滑轮询、线性负载(默认)三种算法,及配置修改、Worker 权重与预热机制,并细述各算法原理。详情可参考文末源文档地址。 阅读全文
posted @ 2025-10-15 18:48 海豚调度 阅读(32) 评论(0) 推荐(0)
摘要: 本文将介绍 Apache DolphinScheduler 的 Worker 负载均衡,含加权随机、平滑轮询、线性负载(默认)三种算法,及配置修改、Worker 权重与预热机制,并细述各算法原理。详情可参考文末源文档地址。 阅读全文
posted @ 2025-10-15 18:38 海豚调度 阅读(30) 评论(0) 推荐(0)
摘要: 3.3.1版本机器启动方式变得更复杂了,但是集群功能变得更好用了,资源利用率提高了。 阅读全文
posted @ 2025-10-10 11:34 海豚调度 阅读(117) 评论(0) 推荐(0)
摘要: “出海”两个字,在开源语境里不是浪漫叙事,而是生死抉择。 阅读全文
posted @ 2025-09-25 15:07 海豚调度 阅读(75) 评论(0) 推荐(0)
摘要: 本文是 Apache DolphinScheduler 3.1.9 版本源码解读的第二篇:Worker Server 启动流程源码解读以及相关流程设计。结尾处附有相关流程图,供大家参考。 阅读全文
posted @ 2025-09-25 10:27 海豚调度 阅读(49) 评论(0) 推荐(0)