海豚调度 - 博客园

2025年8月

摘要：在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，遇到了任务过多僵死的问题，解决思路分享如下。阅读全文

posted @ 2025-08-20 10:00 海豚调度阅读(97) 评论(0) 推荐(0)

从数据血缘到AI Agent：天翼云 × DolphinScheduler 的云上调度新篇章

摘要：在数据驱动与智能化的浪潮下，数据调度平台的价值正在被重新定义。天翼云翼 MR 与 Apache DolphinScheduler 的结合，不仅是一次技术选型，更是一次从社区到企业的深度融合与创新探索。阅读全文

posted @ 2025-08-13 16:32 海豚调度阅读(127) 评论(0) 推荐(0)

Apache DolphinScheduler 7 月社区月报 | 关键修复与性能优化全面推进

摘要： 7 月份，Apache DolphinScheduler 社区持续高能迭代，多个核心模块迎来重要修复与优化。在 K8S 环境下解决了 PodIP 变化导致无法重新连接 Zookeeper 的问题，依赖任务、变量池、COS 资源管理等功能均获关键修复，提升了系统稳定性与可用性。阅读全文

posted @ 2025-08-13 16:19 海豚调度阅读(28) 评论(0) 推荐(0)

使用 Apache DolphinScheduler 构建和部署大数据平台，将任务提交至 AWS 的实践经验

摘要：通过这些改进，我们期望能够帮助用户使用Apache DolphinScheduler更有效地部署和管理他们的作业，无论是在Webex DC还是在EKS上，同时提高资源管理的效率和安全性。阅读全文

posted @ 2025-08-06 15:22 海豚调度阅读(82) 评论(0) 推荐(0)

日均处理 PB 级数据，基于 DolphinScheduler 的离线数据治理平台实现精准血缘追踪

摘要：本文介绍了基于 DolphinScheduler 的离线数据治理平台，解决了任务依赖黑洞和扩展性瓶颈问题。通过 YAML 动态编译和血缘自动捕获，实现了高效的任务依赖管理和数据追踪。平台使用 Neo4j 图数据库进行血缘存储，支持秒级影响分析和根因定位。此外，结合自研高性能导入工具，大幅提升数据传输效率。阅读全文

posted @ 2025-08-06 15:09 海豚调度阅读(135) 评论(0) 推荐(0)

Apache DolphinScheduler DataX 数据集成：新手入门全攻略

摘要：在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些使用Datax做数据集成的实际经验，分享如下。阅读全文

posted @ 2025-08-06 14:55 海豚调度阅读(1040) 评论(0) 推荐(0)

2025年7月

新手教程：用外部 PostgreSQL 和 Zookeeper 启动 Dolphinscheduler

摘要：本文将带你一步步通过外部PostgreSQL和Zookeeper来启动Apache DolphinScheduler。阅读全文

posted @ 2025-07-31 16:29 海豚调度阅读(132) 评论(0) 推荐(0)

一文教会你基于 Rainbond 部署 DolphinScheduler 高可用集群

摘要：本文描述通过 Rainbond 云原生应用管理平台一键部署高可用的 DolphinScheduler 集群，这种方式适合给不太了解 Kubernetes、容器化等复杂技术的用户使用，降低了在 Kubernetes 中部署 DolphinScheduler 的门槛。阅读全文

posted @ 2025-07-31 16:19 海豚调度阅读(131) 评论(0) 推荐(0)

【直播预约】天翼云如何通过 DolphinScheduler 实现大数据自动化与全链路血缘，探索实践亮点！