06 2025 档案

摘要:在大数据系统中,工作流调度是连接数据采集、处理、分析和输出的核心枢纽。一个稳定、可扩展、可观测的调度系统,直接影响到整个数据链路的效率与可靠性。本文围绕“大数据工作流调度”,总结了开发者在实际开发和运维过程中最常遇到的十个关键问题及其解决思路,帮助你更深入理解调度系统的设计与落地实践。 阅读全文
posted @ 2025-06-24 10:37 海豚调度 阅读(52) 评论(0) 推荐(0)
摘要:问题背景 DolphinScheduler 1.3.9版本 查询任务实例列表等接口时,有时会出现响应慢的情况,超过20秒才返回结果。 问题诊断 (1)mysql开启慢日志 /etc/mysql.cnf添加如下配置参数 slow_query_log = ON slow_query_log_file = 阅读全文
posted @ 2025-06-24 10:28 海豚调度 阅读(118) 评论(0) 推荐(0)
摘要:在数字化转型加速的今天,金融行业正面临前所未有的数据挑战:数据量指数级增长、任务调度日益复杂、数据源类型多样化、处理链路不断延长。某证券公司,作为国内领先的综合性券商,面向内部高强度的 IT 运维与业务流程自动化需求,构建了覆盖调度控制与数据集成的双引擎体系。 借助 白鲸开源推出的 WhaleSch 阅读全文
posted @ 2025-06-19 10:26 海豚调度 阅读(90) 评论(0) 推荐(0)
摘要:在 Apache DolphinScheduler 社区中,最近有人提出了一个优化提案非常值得大家关注。在 DSIP-91 提案中,这位开发者聚焦于优化当前工作流调试和上线发布流程,解决调试不便、发布步骤繁琐、实例混乱等痛点,提出的优化方案引入“草稿”模式,使工作流可在不上线的状态下进行调试;同时支 阅读全文
posted @ 2025-06-17 11:02 海豚调度 阅读(46) 评论(0) 推荐(0)
摘要:问题描述 Dolphinscheduler按生产手册使用一键脚本集群部署后,控制台登录页面可以打开,但使用默认账户怎么都登录不进去,尝试在数据库中清理登录用户字段,发现数据库中并没有相关用户字段,而后使用Dolphinscheduler初始化脚本建库时发现连接数据库失败。 报错信息: Loading 阅读全文
posted @ 2025-06-11 14:58 海豚调度 阅读(165) 评论(0) 推荐(0)
摘要:Apache DolphinScheduler作为一款开源的分布式任务调度系统,在实际生产环境中经常需要根据业务需求对集群进行扩容或缩容操作。本文将详细介绍DolphinScheduler集群的扩容和缩容操作流程,帮助运维人员安全、高效地调整集群规模。 阅读全文
posted @ 2025-06-05 16:34 海豚调度 阅读(120) 评论(0) 推荐(0)
摘要:Apache DolphinScheduler单节点部署及测试报告。 阅读全文
posted @ 2025-06-05 16:33 海豚调度 阅读(372) 评论(0) 推荐(0)
摘要:作者:郭炜,白鲸开源 CEO,Apache 基金会成员 在全球科技产业不断重塑格局的背景下,越来越多的中国软件企业将“出海”视为新阶段的战略命题。但面对资源有限、市场多样的现实,每一家企业都必须回答一个关键问题:出海第一站,选哪里? 本文结合白鲸开源在开源商业化出海过程中的实践经验,重构全球化路径的 阅读全文
posted @ 2025-06-05 15:34 海豚调度 阅读(42) 评论(0) 推荐(0)