摘要：
在数字化浪潮席卷全球的当下，数据已然成为企业的核心资产，宛如血液一般流淌于企业运营的每一个脉络之中。从市场趋势的精准洞察，到产品研发的创新方向把控；从营销策略的制定与优化，再到客户关系的精细化管理，企业的每一项关键决策都深深依赖数据的支撑。而数据质量，作为这一系列决策的基石，其重要性不言而喻。 数据 阅读全文
posted @ 2025-02-26 16:02
海豚调度
阅读(92)
评论(0)
推荐(0)
摘要：
Apache DolphinScheduler自2.0.1版本后增加了版本自动升级功能，官方文档提供了一键升级脚本： sh ./script/create-dolphinscheduler.sh 如果只是跨小版本的更新，那么只用执行脚本就好了，但跨多个大版本升级时依然容易出现一些问题，特此总结。 （ 阅读全文
posted @ 2025-02-25 10:23
海豚调度
阅读(567)
评论(0)
推荐(0)
摘要：
一、补数机制的定义与挑战 补数（Backfill） 指在数据管道因系统故障、数据延迟或逻辑错误导致历史任务缺失时，重新调度并执行指定时间范围内的工作流以修复数据缺口。在大数据场景中，补数机制需解决三大核心挑战： 复杂依赖链重建：需精准识别历史时间段内任务上下游关系，避免因时间窗口错位导致数据逻辑混乱 阅读全文
posted @ 2025-02-21 17:19
海豚调度
阅读(228)
评论(0)
推荐(0)
摘要：
Apache DolphinScheduler 作为一款分布式易扩展的工作流调度系统，广泛应用于大数据任务编排。然而，在实际使用中，用户可能会遇到环境搭建、服务启动、工作流执行等问题。本文结合社区文档与用户实践经验，整理以下高频问题及详细解决方案，帮助用户快速定位并解决问题。 一、安装与部署问题 环 阅读全文
posted @ 2025-02-18 14:28
海豚调度
阅读(916)
评论(1)
推荐(0)
摘要：
作者 | Alireza Sadeghi 译自Practical Data Engineering 2025年开源数据工程领域呈现蓬勃创新与生态重构的双重态势，九大技术赛道在实时化、轻量化与云原生架构驱动下加速演进。一份来自外网的2025年开源数据工程全景图全面地展示了这一领域的发展态势与走向，现翻 阅读全文
posted @ 2025-02-17 15:11
海豚调度
阅读(392)
评论(0)
推荐(0)
摘要：
DS缩写风云：从“小海豚”到“深度求索”的魔幻现实 曾几何时，技术圈提到DS，人们脑海中浮现的是一只灵动的“小海豚”——Apache DolphinScheduler（简称DS）。这个2019年诞生的分布式任务调度系统，凭借可视化DAG界面、多租户支持和对Hadoop/Spark生态的深度集成，一度 阅读全文
posted @ 2025-02-17 14:48
海豚调度
阅读(123)
评论(0)
推荐(0)
摘要：
亲爱的社区小伙伴们，Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值，实现自我“破圈”，这里是你最好的舞台，快来一起开启你的技术传播之旅吧！ 如果你热爱Apache DolphinScheduler，对大数据调度有着深厚的兴趣，并且愿意将你关 阅读全文
posted @ 2025-02-17 14:43
海豚调度
阅读(38)
评论(0)
推荐(0)
摘要：
在数字化转型不断加速的今天，数据已成为企业最宝贵的资产，而如何高效地处理、传输和协调这些海量数据成为企业制胜的关键。大数据调度与同步正是支撑这一核心业务的两大技术支柱。本文将详细阐述大数据调度与同步的工作原理、二者之间的紧密关系以及它们对现代企业的重要性，并重点介绍商业化产品 WhaleStudio 阅读全文
posted @ 2025-02-12 14:50
海豚调度
阅读(105)
评论(0)
推荐(0)
摘要：
Ambari是一个用于管理Hadoop集群的工具，虽然Ambari本身并不直接支持DolphinScheduler的安装，但我们可以通过自定义服务的方式将其集成到Ambari中。本文将描述如何使用Ambari安装DolphinScheduler。 1.将需要集成到Ambari的服务安装包放到该目录下 阅读全文
posted @ 2025-02-10 15:00
海豚调度
阅读(171)
评论(0)
推荐(0)
摘要：
春节期间，IT圈内两件大事持续发酵，一件是中国大模型DeepSeek R1的开源震动全球AI界，让中国科技界扬眉吐气，廉价大模型走入千家万户；另一件是SAP被客户居然之家告上法庭，要求索赔590万开发费用和1700万软件费用，最终法院判SAP退还350万研发费用。这两件事的背后，实际上映射了一个势不 阅读全文
posted @ 2025-02-07 18:14
海豚调度
阅读(82)
评论(0)
推荐(0)
浙公网安备 33010602011771号