随笔分类 - Apache DolphinScheduler
摘要：引子：失败了，却没有一行运行日志 生产调度中最让人困惑的场景之一，是任务页面明确显示“失败”，告警也已经生成，但任务的开始时间、执行主机、执行目录和日志路径全部为空。没有 Worker 日志，没有 YARN Application ID，更没有Spark Driver、Executor 或 MapR
阅读全文
摘要：随着企业数字化建设不断深入，数据平台正在从传统的数据存储和分析系统，逐渐演变为支撑业务决策、智能应用和数据资产管理的重要基础设施。如何构建稳定、高效、可扩展的数据生产体系，成为企业数仓建设中的关键挑战。 在 Apache DolphinScheduler 9 月 Meetup 分享中，来自社区的技术
阅读全文
摘要：近日，Apache DolphinScheduler 3.4.3 正式发布。本次版本围绕调度、权限、安全、性能和稳定性等核心能力持续优化，并针对任务实例与工作流实例查询、API 权限控制、敏感信息保护、任务失败恢复等多个生产环境中的实际场景进行了改进和修复。此外，预计将在 3.5.0 版本添加调度补
阅读全文
摘要：一、问题现象 1.1 告警信息 凌晨 4 点多，收到一连串调度失败告警： scheduler failed projectName: 数仓平台 processName: 【ods】同步MySQL「每小时」 taskName: OPTIMIZE table_records taskType: SQL
阅读全文
摘要：你有没有经历过这样的场景：DolphinScheduler 默默挂了半天，任务全部停摆，结果你还在工位上优哉游哉喝咖啡，直到老板冲过来问"数据怎么还没更新"——那一刻，你的表情大概和线上服务一样，卡住了。
阅读全文
摘要：对于企业级数据平台而言，真正的难点并不是让 AI “会聊天”，而是如何让 AI 在生产环境中安全地执行、可靠地验证，并对整个过程进行审计。
阅读全文
摘要：一次 ClickHouse 宕机引发的「血案」：200+ 任务疯狂重试把 CK 打挂，串行等待策略造成死锁，任务动弹不得。本文记录完整的排查过程和终极解决方案。 一、事故背景 1.1 事故经过 时间线： 2026-02-03：ClickHouse 挂了，DolphinScheduler 任务随之停止
阅读全文
摘要：📝 摘要：DolphinScheduler 单机模式（Standalone）Docker 部署实战：先对比单机、伪集群、集群三种模式的取舍，再手把手四步搭建——部署 MySQL 并用它替换默认 H2、初始化官方建表 SQL、挂载 MySQL 驱动、docker Compose 启动容器。 三个必踩
阅读全文
摘要：AI 编程能力正在以前所未有的速度发展，也正在重新定义开源软件的开发、协作与维护方式。面对下一代人机协作的技术浪潮，开源贡献模式也迎来了新的变化。 开源之夏 2026 全新启航，正式迈入“点亮计划 2.0”时代！今年，Apache DolphinScheduler 将继续参与开源之夏经典模式，诚邀社
阅读全文
摘要：Apache DolphinScheduler 本身并没有针对任务组槽位设计"超时强制回收"的功能；它的"自动回收"机制其实是一致性纠正 + 正常释放 + 强制启动三种手段的组合，全部由 TaskGroupCoordinator 后台线程周期性执行完成。 如果要解决任务组资源被长时间占用时，想要让系
阅读全文
摘要：大模型浪潮下，如何让数据工作流走向智能化？
阅读全文
摘要：Apache DolphinScheduler 的并发控制横跨 Master、单个流程实例、Worker 三个层级，用户遇到的绝大多数"并发不达预期"问题，本质上都是没有分清这三层参数各自管的是什么。
阅读全文
摘要：dsctl 是社区维护的第三方 CLI，通过 REST API 操作 Apache DolphinScheduler®。工程师、Shell 脚本、CI/CD 和 AI Agent（下文简称 Agent）使用同一套命令。项目采用 Apache License 2.0 开源。
阅读全文
摘要：一、前言 本文是一篇关于Apache DolphinScheduler 在实际项目中的应用实战笔记，包含 DolphinScheduler 执行 SQL 或存储过程、调用 DataX 同步数据、HTTP 接口多种任务节点类型及其配置方法，并提供了丰富的配置示例和参数说明，适合需要快速上手 Dolph
阅读全文
摘要：从 1.3 版本到 3.X 版本，Apache DolphinScheduler 已经经历了数次迭代，有了不少变化，相信大家都注意到了。 本文将从表结构演进、任务类型扩展、注册中心多样化、架构设计优化和功能增强五个维度，系统对比 Apache DolphinScheduler 1.3 系列与 3.x
阅读全文
摘要：随着企业数据规模的快速增长，传统物理机或虚拟机部署Apache DolphinScheduler面临着环境配置复杂、资源利用率低、扩展性差等痛点。特别是在需要运行Spark等大数据计算任务时，手动维护多套环境、处理依赖冲突、应对突发流量等问题更是让运维团队疲于奔命。
阅读全文
摘要：社区朋友们，今年 6 月份的社区月报来啦！不同于常规月度大版本功能迭代，本月 Apache DolphinScheduler 社区全力深耕底层治理！小伙伴们重点打磨了平台稳定性，比如完成 3.4.2 版本运维闭环、优化任务故障转移能力、修复高并发偶发故障、落地日志敏感数据脱敏，补齐部署、存储、CI 工程等各类线上细碎短板。
阅读全文
摘要：在分布式调度系统的架构设计中，注册中心的选择往往决定了系统的复杂度和运维成本。Apache DolphinScheduler作为一款成熟的分布式工作流调度系统，虽然默认使用ZooKeeper作为注册中心，但已经提供了多种替代方案，让用户可以根据自身技术栈和运维能力做出灵活选择。
阅读全文
摘要：已经在虚拟机部署好Apache DolphinScheduler了，想尝试下在Flink新建一个Flink节点，然后用Flink消费Kafka数据。
阅读全文
摘要：在数据驱动的业务决策成为常态的今天，一个高效、灵活且成本可控的数据处理流水线是企业数据中台的核心竞争力。
阅读全文
浙公网安备 33010602011771号