随笔分类 - Apache DolphinScheduler
摘要：你有没有经历过这样的场景：DolphinScheduler 默默挂了半天，任务全部停摆，结果你还在工位上优哉游哉喝咖啡，直到老板冲过来问"数据怎么还没更新"——那一刻，你的表情大概和线上服务一样，卡住了。
阅读全文
摘要：对于企业级数据平台而言，真正的难点并不是让 AI “会聊天”，而是如何让 AI 在生产环境中安全地执行、可靠地验证，并对整个过程进行审计。
阅读全文
摘要：一次 ClickHouse 宕机引发的「血案」：200+ 任务疯狂重试把 CK 打挂，串行等待策略造成死锁，任务动弹不得。本文记录完整的排查过程和终极解决方案。 一、事故背景 1.1 事故经过 时间线： 2026-02-03：ClickHouse 挂了，DolphinScheduler 任务随之停止
阅读全文
摘要：📝 摘要：DolphinScheduler 单机模式（Standalone）Docker 部署实战：先对比单机、伪集群、集群三种模式的取舍，再手把手四步搭建——部署 MySQL 并用它替换默认 H2、初始化官方建表 SQL、挂载 MySQL 驱动、docker Compose 启动容器。 三个必踩
阅读全文
摘要：AI 编程能力正在以前所未有的速度发展，也正在重新定义开源软件的开发、协作与维护方式。面对下一代人机协作的技术浪潮，开源贡献模式也迎来了新的变化。 开源之夏 2026 全新启航，正式迈入“点亮计划 2.0”时代！今年，Apache DolphinScheduler 将继续参与开源之夏经典模式，诚邀社
阅读全文
摘要：Apache DolphinScheduler 本身并没有针对任务组槽位设计"超时强制回收"的功能；它的"自动回收"机制其实是一致性纠正 + 正常释放 + 强制启动三种手段的组合，全部由 TaskGroupCoordinator 后台线程周期性执行完成。 如果要解决任务组资源被长时间占用时，想要让系
阅读全文
摘要：大模型浪潮下，如何让数据工作流走向智能化？
阅读全文
摘要：Apache DolphinScheduler 的并发控制横跨 Master、单个流程实例、Worker 三个层级，用户遇到的绝大多数"并发不达预期"问题，本质上都是没有分清这三层参数各自管的是什么。
阅读全文
摘要：dsctl 是社区维护的第三方 CLI，通过 REST API 操作 Apache DolphinScheduler®。工程师、Shell 脚本、CI/CD 和 AI Agent（下文简称 Agent）使用同一套命令。项目采用 Apache License 2.0 开源。
阅读全文
摘要：一、前言 本文是一篇关于Apache DolphinScheduler 在实际项目中的应用实战笔记，包含 DolphinScheduler 执行 SQL 或存储过程、调用 DataX 同步数据、HTTP 接口多种任务节点类型及其配置方法，并提供了丰富的配置示例和参数说明，适合需要快速上手 Dolph
阅读全文
摘要：从 1.3 版本到 3.X 版本，Apache DolphinScheduler 已经经历了数次迭代，有了不少变化，相信大家都注意到了。 本文将从表结构演进、任务类型扩展、注册中心多样化、架构设计优化和功能增强五个维度，系统对比 Apache DolphinScheduler 1.3 系列与 3.x
阅读全文
摘要：随着企业数据规模的快速增长，传统物理机或虚拟机部署Apache DolphinScheduler面临着环境配置复杂、资源利用率低、扩展性差等痛点。特别是在需要运行Spark等大数据计算任务时，手动维护多套环境、处理依赖冲突、应对突发流量等问题更是让运维团队疲于奔命。
阅读全文
摘要：社区朋友们，今年 6 月份的社区月报来啦！不同于常规月度大版本功能迭代，本月 Apache DolphinScheduler 社区全力深耕底层治理！小伙伴们重点打磨了平台稳定性，比如完成 3.4.2 版本运维闭环、优化任务故障转移能力、修复高并发偶发故障、落地日志敏感数据脱敏，补齐部署、存储、CI 工程等各类线上细碎短板。
阅读全文
摘要：在分布式调度系统的架构设计中，注册中心的选择往往决定了系统的复杂度和运维成本。Apache DolphinScheduler作为一款成熟的分布式工作流调度系统，虽然默认使用ZooKeeper作为注册中心，但已经提供了多种替代方案，让用户可以根据自身技术栈和运维能力做出灵活选择。
阅读全文
摘要：已经在虚拟机部署好Apache DolphinScheduler了，想尝试下在Flink新建一个Flink节点，然后用Flink消费Kafka数据。
阅读全文
摘要：在数据驱动的业务决策成为常态的今天，一个高效、灵活且成本可控的数据处理流水线是企业数据中台的核心竞争力。
阅读全文
摘要：今天我们将深入探讨一个备受关注的话题：如何使用
MySQL元数据库，通过 Docker Compose 快速部署
Apache DolphinScheduler 3.1.9 集群。
阅读全文
摘要：在企业数据平台建设过程中，数据同步是一项非常常见的需求。随着业务规模不断增长，全量同步带来的数据库压力和资源消耗也会越来越大。因此，在实际生产环境中，增量同步往往是更常见的选择。
阅读全文
摘要：近日，Apache DolphinScheduler 社区正式发布 3.4.2 版本。
阅读全文
摘要：你是不是经常遇到这种情况？一个数据库备份或者查询任务，跑起来没完没了，等你发现时，业务已经受到影响了。别担心，今天我就分享一个我亲自验证过的高效方法：用 Apache DolphinScheduler 设置执行超时告警，时间一到，信息立刻推送到你的飞书（或钉钉/企业微信），让你时刻掌握任务动态！
阅读全文
浙公网安备 33010602011771号