04 2025 档案

任务运维、循环任务死锁.....DolphinScheduler任务配置经验分享
摘要：在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些任务配置实际经验，分享如下。 封 一、资源中心任务组上限问题 【资源容量】: 允许任务实例并发的最大数量。 1.1、 现象 当我们部署方式是standalone时，资源容量默认值是 10，如下截图： 如果我们调整这 阅读全文
posted @ 2025-04-28 17:21 海豚调度 阅读(483) 评论(0) 推荐(0)
【实战】一招搞定Shell调度！DolphinScheduler+ProcessBuilder超详细教程
摘要：本文将介绍在DolphinScheduler中使用ProcessBuilder执行Shell命令的方法。默认通过BashShellInterceptorBuilder封装Shell脚本并生成执行命令，支持普通模式和sudo模式运行。同时，结合Spring Boot应用示例，展示了如何配置工作目录、合 阅读全文
posted @ 2025-04-28 15:29 海豚调度 阅读(257) 评论(0) 推荐(0)
白鲸开源与亚马逊云科技携手推动AI-Ready数据架构创新
摘要：在昨日举办的2025亚马逊云科技合作伙伴峰会圆桌论坛上，白鲸开源创始人兼CEO郭炜作为嘉宾，与亚马逊云科技及其他行业领袖共同探讨了“AI-Ready的数据架构：ISV如何构建面向生成式AI的强大数据基座”这一重要话题。此次论坛由亚马逊云科技大中华区解决方案架构师高级经理Dickson Yue主持，吸 阅读全文
posted @ 2025-04-25 09:48 海豚调度 阅读(59) 评论(0) 推荐(0)
白鲸开源WhaleStudio与崖山数据库管理系统YashanDB完成产品兼容互认证
摘要：近日，深圳计算科学研究院与北京白鲸开源科技有限公司联合宣布，双方已完成产品兼容互认证。此次认证涉及深圳计算科学研究院自主研发的崖山数据库管理系统YashanDB V23和北京白鲸开源科技有限公司的核心产品WhaleStudio V2.6。经过严格的测试与验证，双方产品在兼容性、系统稳定性等方面表现优 阅读全文
posted @ 2025-04-24 10:09 海豚调度 阅读(91) 评论(0) 推荐(0)
开源之夏2025 Apache DolphinScheduler课题宣讲
摘要：点击链接获取宣讲直播回放+PPT资料: https://www.whaleops.com/846839-846849.html?newsid=3160733&_t=1745373594 阅读全文
posted @ 2025-04-23 10:13 海豚调度 阅读(14) 评论(0) 推荐(0)
DolphinScheduler开发者必看！IDEA本地调试实战指南
摘要：本文整系统梳理了在IDEA中搭建Apache DolphinScheduler本地调试环境的通用流程，包括环境准备、远吗配置、服务启动等核心步骤，供大家参考。 1、基础组件准备 1、JDK : v1.8.x (当前暂不支持 jdk 11) 2、Maven : v3.5+ 3、v18.19.1+，安装 阅读全文
posted @ 2025-04-23 10:06 海豚调度 阅读(418) 评论(0) 推荐(0)
修改下内存配置，DolphinScheduler CPU飙升问题秒解决
摘要：某公司在迁移从阿里云DataWorks到自建大数据平台过程中，遇到海豚调度器在定时任务触发时导致CPU负载激增甚至系统崩溃的问题。经过排查，发现并非任务数量过多引起，而是调度器配置不当。通过调整海豚调度器的线程数和CPU限制值，成功解决了CPU飙升问题，确保了任务的平稳运行。参考此案例，用户在调整线程数时需平衡机器负载和并发任务需求。 阅读全文
posted @ 2025-04-16 10:30 海豚调度 阅读(591) 评论(0) 推荐(0)
21日报名截止！CommunityOverCode Asia 2025议题征集倒计时
摘要：Apache DolphinScheduler 将亮相 DataOps Track。 阅读全文
posted @ 2025-04-16 10:25 海豚调度 阅读(32) 评论(0) 推荐(0)
金融行业数字化转型破局：WhaleScheduler如何重塑万级任务调度体系？
摘要：数字浪潮下的金融突围战 在国家"十四五"数字经济发展规划与金融科技发展纲要的推动下，某国有大行地区性分行正面临数字化转型的关键战役。随着每日数据处理任务激增至近万量级，原有自研调度系统已难以支撑业务扩张需求。本文将深度解析该行如何通过国产信创调度平台实现技术突围。 一、传统架构之困：数字金融转型的三 阅读全文
posted @ 2025-04-16 10:19 海豚调度 阅读(69) 评论(0) 推荐(0)
3月报|DolphinScheduler项目进展一览
摘要：各位热爱 Apache DolphinScheduler 的小伙伴们，社区3月报来啦！来查看上个月项目的进展吧！ 月度Merge Star 感谢以下小伙伴上个月为 Apache DolphinScheduler 所做的精彩贡献（排名不分先后）： “@ruanwenjun,@yingh0ng,@MYs 阅读全文
posted @ 2025-04-15 17:30 海豚调度 阅读(38) 评论(0) 推荐(0)
Apache DolphinScheduler社区答疑Star第一期评选结果公示
摘要：在广大社区成员的积极参与下，Apache DolphinScheduler社区答疑Star第一期评选活动圆满落幕！本次活动旨在表彰那些长期为社区用户提供专业解答、积极推动技术交流的社群管理员。经过社区成员的公开票选，在25个社区群中共有4位表现突出的管理员脱颖而出（因票数并列第三名共同获评）。让我们 阅读全文
posted @ 2025-04-11 15:22 海豚调度 阅读(28) 评论(0) 推荐(0)
喜讯！白鲸开源入选智联联盟2024年度软件研发优秀案例
摘要：近日，中关村智联软件服务业质量创新联盟（简称“智联联盟”）发布了《关于公布第二批2024年度软件研发优秀案例获奖名单的通知》。此次评选旨在进一步推动软件产业高质量发展和信息技术应用创新，加强业内先进经验交流，推广软件优秀实践。 通知附件中详细列出了第二批2024年度软件研发优秀案例获奖名单，其中，白 阅读全文
posted @ 2025-04-10 10:16 海豚调度 阅读(57) 评论(0) 推荐(0)
Apache DolphinScheduler 3.3.0 Alpha发布，功能增强与性能优化大升级！
摘要：近期，Apache DolphinScheduler进行了版本更新，发布了3.3.0 alpha版本。Apache DolphinScheduler 3.3.0 alpha版本在任务管理、容错能力、扩展性等方面实现跨越式升级，为大规模工作流调度提供更稳定、灵活的解决方案。但需要提醒的是，此版本为alpha版本，请谨慎更新使用。 阅读全文
posted @ 2025-04-09 15:03 海豚调度 阅读(353) 评论(2) 推荐(0)
导师招募！Apache DolphinScheduler开源之夏2025等你领航！
摘要：2025年“开源之夏”（OSPP）再次启航！Apache DolphinScheduler作为全球领先的分布式可视化DAG工作流任务调度系统，连续多年入选这一开源盛典，今年将继续携手社区开发者，面向社区招募1名资深导师，共同推动大数据调度技术的创新与落地。 阅读全文
posted @ 2025-04-09 14:53 海豚调度 阅读(52) 评论(0) 推荐(0)
5分钟掌握！DolphinScheduler时间参数动态配置秘籍
摘要：在 DolphinScheduler 中，调度时对时间参数的使用非常重要，尤其是当你在数据处理、ETL 任务或其他需要依赖时间范围的任务场景中。DolphinScheduler 允许通过多种方式灵活地配置时间参数，以适应不同的任务调度需求。以下是时间参数在 DolphinScheduler 调度中的 阅读全文
posted @ 2025-04-09 14:49 海豚调度 阅读(1449) 评论(0) 推荐(0)
2025年，怎么靠技术传播自我“破圈”？
摘要：亲爱的社区小伙伴们，Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值，实现自我“破圈”，这里是你最好的舞台，快来一起开启你的技术传播之旅吧！ 如果你热爱Apache DolphinScheduler，对大数据调度有着深厚的兴趣，并且愿意将你关 阅读全文
posted @ 2025-04-02 11:19 海豚调度 阅读(48) 评论(0) 推荐(0)
GSoC谷歌编程之夏2025招募中，Apache DolphinScheduler需要你的提案！
摘要：GSoC谷歌编程之夏活动火热进行中！今年，Apache DolphinScheduler项目也依然参与其中，设立了有趣且有挑战性的项目任务，与通用OIDC认证有关。欢迎有才华的你们来挑战！ GSoC的起源与目的 GSoC 即 Google Summer of Code（谷歌编程之夏），是谷歌公司发起 阅读全文
posted @ 2025-04-01 18:09 海豚调度 阅读(173) 评论(0) 推荐(0)