海豚调度 - 博客园

2025年3月

摘要：不久前，埃隆·马斯克在推动美国政府效率部改革期间，对社保系统进行审查时揭露了重大异常，发现社保记录中存在年龄高达360岁的受益人，而且社保领取人数达3.98亿，远超美国实际人口（约3.3亿）。这一“乌龙”引发公众对社保资金滥用及政府监管失效的质疑。然而，美国社会保障局（SSA）对马斯克披露的异常数据阅读全文

posted @ 2025-03-04 15:42 海豚调度阅读(124) 评论(0) 推荐(0)

Worker模块源码实战：万字长文解析DolphinScheduler如何实现亿级任务调度

摘要： Apache DolphinScheduler的Worker模块是其分布式调度系统的核心组件之一，负责任务执行、资源管理及集群动态调度。本文将通过源码剖析，揭示其设计思想与实现细节. 1、Worker接收Master RPC请求架构图 Worker服务的Netty提供和Master JDK动态代理接阅读全文

posted @ 2025-03-03 15:58 海豚调度阅读(513) 评论(0) 推荐(0)

2025年2月

不重视数据质量，企业要出大问题！

摘要：在数字化浪潮席卷全球的当下，数据已然成为企业的核心资产，宛如血液一般流淌于企业运营的每一个脉络之中。从市场趋势的精准洞察，到产品研发的创新方向把控；从营销策略的制定与优化，再到客户关系的精细化管理，企业的每一项关键决策都深深依赖数据的支撑。而数据质量，作为这一系列决策的基石，其重要性不言而喻。数据阅读全文

posted @ 2025-02-26 16:02 海豚调度阅读(142) 评论(0) 推荐(0)

看过来！Apache DolphinScheduler版本升级指南

摘要： Apache DolphinScheduler自2.0.1版本后增加了版本自动升级功能，官方文档提供了一键升级脚本： sh ./script/create-dolphinscheduler.sh 如果只是跨小版本的更新，那么只用执行脚本就好了，但跨多个大版本升级时依然容易出现一些问题，特此总结。（阅读全文

posted @ 2025-02-25 10:23 海豚调度阅读(921) 评论(0) 推荐(0)

当任务失败时，顶级调度系统如何实现分钟级数据补偿？

摘要：一、补数机制的定义与挑战补数（Backfill）指在数据管道因系统故障、数据延迟或逻辑错误导致历史任务缺失时，重新调度并执行指定时间范围内的工作流以修复数据缺口。在大数据场景中，补数机制需解决三大核心挑战：复杂依赖链重建：需精准识别历史时间段内任务上下游关系，避免因时间窗口错位导致数据逻辑混乱阅读全文

posted @ 2025-02-21 17:19 海豚调度阅读(332) 评论(0) 推荐(0)

DolphinScheduler环境搭建、服务启动等常见问题及解决方案

摘要： Apache DolphinScheduler 作为一款分布式易扩展的工作流调度系统，广泛应用于大数据任务编排。然而，在实际使用中，用户可能会遇到环境搭建、服务启动、工作流执行等问题。本文结合社区文档与用户实践经验，整理以下高频问题及详细解决方案，帮助用户快速定位并解决问题。一、安装与部署问题环阅读全文

posted @ 2025-02-18 14:28 海豚调度阅读(1452) 评论(1) 推荐(0)

2025开源数据工程全景图

摘要：作者 | Alireza Sadeghi 译自Practical Data Engineering 2025年开源数据工程领域呈现蓬勃创新与生态重构的双重态势，九大技术赛道在实时化、轻量化与云原生架构驱动下加速演进。一份来自外网的2025年开源数据工程全景图全面地展示了这一领域的发展态势与走向，现翻阅读全文

posted @ 2025-02-17 15:11 海豚调度阅读(686) 评论(0) 推荐(0)

DS缩写乱争：当小海豚撞上AI顶流，技术圈也逃不过“撞名”修罗场

摘要： DS缩写风云：从“小海豚”到“深度求索”的魔幻现实曾几何时，技术圈提到DS，人们脑海中浮现的是一只灵动的“小海豚”——Apache DolphinScheduler（简称DS）。这个2019年诞生的分布式任务调度系统，凭借可视化DAG界面、多租户支持和对Hadoop/Spark生态的深度集成，一度阅读全文

posted @ 2025-02-17 14:48 海豚调度阅读(268) 评论(0) 推荐(0)

2025年，怎么靠技术传播自我“破圈”？

摘要：亲爱的社区小伙伴们，Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值，实现自我“破圈”，这里是你最好的舞台，快来一起开启你的技术传播之旅吧！如果你热爱Apache DolphinScheduler，对大数据调度有着深厚的兴趣，并且愿意将你关阅读全文

posted @ 2025-02-17 14:43 海豚调度阅读(68) 评论(0) 推荐(0)

全链路数据引擎：WhaleStudio驱动下的大数据调度与同步智能革新

摘要：在数字化转型不断加速的今天，数据已成为企业最宝贵的资产，而如何高效地处理、传输和协调这些海量数据成为企业制胜的关键。大数据调度与同步正是支撑这一核心业务的两大技术支柱。本文将详细阐述大数据调度与同步的工作原理、二者之间的紧密关系以及它们对现代企业的重要性，并重点介绍商业化产品 WhaleStudio 阅读全文

posted @ 2025-02-12 14:50 海豚调度阅读(179) 评论(0) 推荐(0)

公告