海豚调度 - 博客园

2025年5月

开源之夏2025 | DolphinScheduler邀你挑战技术任务，赢取丰厚奖金！

摘要：开源之夏2025 已进入学生报名冲刺阶段！全球知名的大数据调度平台 Apache DolphinScheduler 再次加入这一开源盛会，为高校学子提供两大技术挑战任务，助力提升开发能力与开源贡献经验。无论你是想深入云原生技术，还是探索分布式系统优化，这里都有你的舞台！阅读全文

posted @ 2025-05-09 10:45 海豚调度阅读(90) 评论(0) 推荐(0)

HTTP接口数据也能定时同步入湖？用DolphinScheduler×SeaTunnel快速搞定！

摘要：背景与目标我们之前曾评估使用过SeaTunnel做CDC入湖验证：SeaTunnel-CDC入湖实践，这些场景都是能直连数据库的场景，业务需求中经常会出现无法直连数据库做CDC进行数据同步的场景，而这些场景就需要使用API进行数据对接，用Apache DolphinScheduler定时同步数据。阅读全文

posted @ 2025-05-09 10:12 海豚调度阅读(590) 评论(0) 推荐(0)

2025年4月

任务运维、循环任务死锁.....DolphinScheduler任务配置经验分享

摘要：在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些任务配置实际经验，分享如下。封一、资源中心任务组上限问题【资源容量】: 允许任务实例并发的最大数量。 1.1、现象当我们部署方式是standalone时，资源容量默认值是 10，如下截图：如果我们调整这阅读全文

posted @ 2025-04-28 17:21 海豚调度阅读(479) 评论(0) 推荐(0)

【实战】一招搞定Shell调度！DolphinScheduler+ProcessBuilder超详细教程

摘要：本文将介绍在DolphinScheduler中使用ProcessBuilder执行Shell命令的方法。默认通过BashShellInterceptorBuilder封装Shell脚本并生成执行命令，支持普通模式和sudo模式运行。同时，结合Spring Boot应用示例，展示了如何配置工作目录、合阅读全文

posted @ 2025-04-28 15:29 海豚调度阅读(255) 评论(0) 推荐(0)

白鲸开源与亚马逊云科技携手推动AI-Ready数据架构创新

摘要：在昨日举办的2025亚马逊云科技合作伙伴峰会圆桌论坛上，白鲸开源创始人兼CEO郭炜作为嘉宾，与亚马逊云科技及其他行业领袖共同探讨了“AI-Ready的数据架构：ISV如何构建面向生成式AI的强大数据基座”这一重要话题。此次论坛由亚马逊云科技大中华区解决方案架构师高级经理Dickson Yue主持，吸阅读全文

posted @ 2025-04-25 09:48 海豚调度阅读(59) 评论(0) 推荐(0)

白鲸开源WhaleStudio与崖山数据库管理系统YashanDB完成产品兼容互认证

摘要：近日，深圳计算科学研究院与北京白鲸开源科技有限公司联合宣布，双方已完成产品兼容互认证。此次认证涉及深圳计算科学研究院自主研发的崖山数据库管理系统YashanDB V23和北京白鲸开源科技有限公司的核心产品WhaleStudio V2.6。经过严格的测试与验证，双方产品在兼容性、系统稳定性等方面表现优阅读全文

posted @ 2025-04-24 10:09 海豚调度阅读(91) 评论(0) 推荐(0)

开源之夏2025 Apache DolphinScheduler课题宣讲

摘要：点击链接获取宣讲直播回放+PPT资料: https://www.whaleops.com/846839-846849.html?newsid=3160733&_t=1745373594 阅读全文

posted @ 2025-04-23 10:13 海豚调度阅读(14) 评论(0) 推荐(0)

DolphinScheduler开发者必看！IDEA本地调试实战指南

摘要：本文整系统梳理了在IDEA中搭建Apache DolphinScheduler本地调试环境的通用流程，包括环境准备、远吗配置、服务启动等核心步骤，供大家参考。 1、基础组件准备 1、JDK : v1.8.x (当前暂不支持 jdk 11) 2、Maven : v3.5+ 3、v18.19.1+，安装阅读全文

posted @ 2025-04-23 10:06 海豚调度阅读(417) 评论(0) 推荐(0)

修改下内存配置，DolphinScheduler CPU飙升问题秒解决

摘要：某公司在迁移从阿里云DataWorks到自建大数据平台过程中，遇到海豚调度器在定时任务触发时导致CPU负载激增甚至系统崩溃的问题。经过排查，发现并非任务数量过多引起，而是调度器配置不当。通过调整海豚调度器的线程数和CPU限制值，成功解决了CPU飙升问题，确保了任务的平稳运行。参考此案例，用户在调整线程数时需平衡机器负载和并发任务需求。阅读全文

posted @ 2025-04-16 10:30 海豚调度阅读(590) 评论(0) 推荐(0)

21日报名截止！CommunityOverCode Asia 2025议题征集倒计时

摘要： Apache DolphinScheduler 将亮相 DataOps Track。阅读全文

posted @ 2025-04-16 10:25 海豚调度阅读(32) 评论(0) 推荐(0)

公告