海豚调度 - 博客园

2026年5月

摘要：因为我们的数仓数据源是Kafka，离线数仓需要用Flume采集Kafka中的数据到HDFS中。阅读全文

posted @ 2026-05-20 15:39 海豚调度阅读(10) 评论(0) 推荐(0)

摘要：为什么要跨越大版本？阅读全文

posted @ 2026-05-20 15:14 海豚调度阅读(14) 评论(0) 推荐(0)

摘要：设想一下，凌晨3点，你的核心数据调度任务突发失败，下游报表无法按时产出。然而，传统告警方式弊端尽显：渠道单一，仅靠邮件易被忽视；集成困难，无法对接企业自研系统；响应滞后，缺乏自动化故障处理能力。等到你接到通知，并找到相关问题的负责人时，已经耽搁太久了，给生产线造成了无法弥补的损失。阅读全文

posted @ 2026-05-15 17:12 海豚调度阅读(17) 评论(0) 推荐(0)

摘要：调度系统正在从单一的时间驱动工具演变为融合事件驱动、云原生、智能化的综合数据编排平台。DolphinScheduler 凭借其去中心化的架构设计、插件化的扩展机制和云原生的部署支持，已经为这场演进奠定了坚实基础。阅读全文

posted @ 2026-05-15 16:57 海豚调度阅读(11) 评论(0) 推荐(0)

摘要：原理上有相似性（都是调度框架），但DolphinScheduler是“任务级的调度”，Spring Cloud Data Flow是“应用级的编排”。阅读全文

posted @ 2026-05-11 16:00 海豚调度阅读(20) 评论(0) 推荐(0)

摘要：本月报对 4 月份社区研发进行了整理统计，发现在这段时间， Apache DolphinScheduler 主干（dev）合并强度明显提升：一方面是云原生部署与插件生态的持续补齐，另一方面则是面向可维护性的大规模清理与重构。阅读全文

posted @ 2026-05-11 15:10 海豚调度阅读(9) 评论(0) 推荐(0)

2026年4月

摘要：这套打通「群聊告警→智能诊断→自动恢复→报告闭环」的全链路系统，可以很好地解决传统运维碎片化、高耗时、反复跨系统跳转的痛点，阅读全文

posted @ 2026-04-29 17:46 海豚调度阅读(97) 评论(0) 推荐(0)

摘要：概念解释：DAG：有向无环图，有顺序，但是不会形成环的图表。海豚调度的API接口：http://YOURID:12345/dolphinscheduler/swagger-ui/index.html 需要先自行安装DataX和SeaTunnel 阅读全文

posted @ 2026-04-29 17:10 海豚调度阅读(66) 评论(0) 推荐(0)

摘要：在数据平台不断演进的过程中，很多团队都会经历一个关键转折点：调度系统已经足够稳定，任务也能够按时运行，但整体效率却没有提升，反而随着规模扩大变得越来越难维护。问题的根源在于，平台仍然停留在“任务调度”的层面，而没有上升到“工程治理”的层面。阅读全文

posted @ 2026-04-23 11:44 海豚调度阅读(24) 评论(0) 推荐(0)

摘要： "与 DolphinScheduler 集成有时间再写吧，欠的东西太多了。"，现在项目快部署了，特此来还债。阅读全文

posted @ 2026-04-23 11:32 海豚调度阅读(138) 评论(0) 推荐(0)