摘要：
背景与目标 我们之前曾评估使用过SeaTunnel做CDC入湖验证：SeaTunnel-CDC入湖实践，这些场景都是能直连数据库的场景，业务需求中经常会出现无法直连数据库做CDC进行数据同步的场景，而这些场景就需要使用API进行数据对接，用Apache DolphinScheduler定时同步数据。 阅读全文
posted @ 2025-05-09 10:12
海豚调度
阅读(764)
评论(0)
推荐(0)
摘要：
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些任务配置实际经验，分享如下。 封 一、资源中心任务组上限问题 【资源容量】: 允许任务实例并发的最大数量。 1.1、 现象 当我们部署方式是standalone时，资源容量默认值是 10，如下截图： 如果我们调整这 阅读全文
posted @ 2025-04-28 17:21
海豚调度
阅读(656)
评论(0)
推荐(0)
摘要：
本文将介绍在DolphinScheduler中使用ProcessBuilder执行Shell命令的方法。默认通过BashShellInterceptorBuilder封装Shell脚本并生成执行命令，支持普通模式和sudo模式运行。同时，结合Spring Boot应用示例，展示了如何配置工作目录、合 阅读全文
posted @ 2025-04-28 15:29
海豚调度
阅读(333)
评论(0)
推荐(0)
摘要：
在昨日举办的2025亚马逊云科技合作伙伴峰会圆桌论坛上，白鲸开源创始人兼CEO郭炜作为嘉宾，与亚马逊云科技及其他行业领袖共同探讨了“AI-Ready的数据架构：ISV如何构建面向生成式AI的强大数据基座”这一重要话题。此次论坛由亚马逊云科技大中华区解决方案架构师高级经理Dickson Yue主持，吸 阅读全文
posted @ 2025-04-25 09:48
海豚调度
阅读(65)
评论(0)
推荐(0)
摘要：
近日，深圳计算科学研究院与北京白鲸开源科技有限公司联合宣布，双方已完成产品兼容互认证。此次认证涉及深圳计算科学研究院自主研发的崖山数据库管理系统YashanDB V23和北京白鲸开源科技有限公司的核心产品WhaleStudio V2.6。经过严格的测试与验证，双方产品在兼容性、系统稳定性等方面表现优 阅读全文
posted @ 2025-04-24 10:09
海豚调度
阅读(102)
评论(0)
推荐(0)
摘要：
点击链接获取宣讲直播回放+PPT资料: https://www.whaleops.com/846839-846849.html?newsid=3160733&_t=1745373594 阅读全文
posted @ 2025-04-23 10:13
海豚调度
阅读(17)
评论(0)
推荐(0)
摘要：
本文整系统梳理了在IDEA中搭建Apache DolphinScheduler本地调试环境的通用流程，包括环境准备、远吗配置、服务启动等核心步骤，供大家参考。 1、基础组件准备 1、JDK : v1.8.x (当前暂不支持 jdk 11) 2、Maven : v3.5+ 3、v18.19.1+，安装 阅读全文
posted @ 2025-04-23 10:06
海豚调度
阅读(513)
评论(0)
推荐(0)
摘要：
某公司在迁移从阿里云DataWorks到自建大数据平台过程中，遇到海豚调度器在定时任务触发时导致CPU负载激增甚至系统崩溃的问题。经过排查，发现并非任务数量过多引起，而是调度器配置不当。通过调整海豚调度器的线程数和CPU限制值，成功解决了CPU飙升问题，确保了任务的平稳运行。参考此案例，用户在调整线程数时需平衡机器负载和并发任务需求。 阅读全文
posted @ 2025-04-16 10:30
海豚调度
阅读(765)
评论(0)
推荐(0)
摘要：
Apache DolphinScheduler 将亮相 DataOps Track。 阅读全文
posted @ 2025-04-16 10:25
海豚调度
阅读(40)
评论(0)
推荐(0)
摘要：
数字浪潮下的金融突围战 在国家"十四五"数字经济发展规划与金融科技发展纲要的推动下，某国有大行地区性分行正面临数字化转型的关键战役。随着每日数据处理任务激增至近万量级，原有自研调度系统已难以支撑业务扩张需求。本文将深度解析该行如何通过国产信创调度平台实现技术突围。 一、传统架构之困：数字金融转型的三 阅读全文
posted @ 2025-04-16 10:19
海豚调度
阅读(82)
评论(0)
推荐(0)
浙公网安备 33010602011771号