摘要：
2024年社区高光时刻总结！ 亲爱的朋友们，让我们把时间的快门按下，一起回顾这一年的点点滴滴。就像翻阅一本精彩的相册，每一张照片都记录着我们Apache DolphinScheduler社区的欢笑和泪水。那么，准备好了吗？让我们一起跳进时光机，回顾社区里2024年那些难忘的瞬间吧！ 时光荏苒，新年将 阅读全文
posted @ 2025-01-02 18:13
海豚调度
阅读(40)
评论(0)
推荐(0)
摘要：
仅展示部分案例，文末附完整版🔻 引言 数据驱动时代，高效的数据处理和分析能力已成为各行各业的核心竞争力。而高效的数据处理离不开强大的工作流调度系统。Apache DolphinScheduler 正是这样一款功能强大的分布式工作流调度平台，它以其灵活的架构、强大的功能和易于使用的界面，帮助企业和组 阅读全文
posted @ 2024-12-26 15:11
海豚调度
阅读(458)
评论(0)
推荐(0)
摘要：
文|作业帮大数据团队（阮文俊、孙建业） 背 景 基于 Apache DolphinScheduler （以下简称DolphinScheduler）搭建的 UDA 任务调度平台有效支撑了公司的业务数据开发需求，处理着日均百万级别的任务量。 整个 UDA 的架构如下图所示，其中我们的引擎层主要基于 Do 阅读全文
posted @ 2024-12-24 16:27
海豚调度
阅读(360)
评论(0)
推荐(0)
摘要：
视频及PPT等相关资料：点击查看 讲师介绍 陶超权，博世智驾（中国）后端工程师，负责数据处理和数据调度方面工作，在智能驾驶数据处理领域具有丰富的实践经验。在2024年12月Apache DolphinScheduler社区线上交流会上上，他分享了Apache DolphinScheduler在智能驾 阅读全文
posted @ 2024-12-19 10:02
海豚调度
阅读(133)
评论(0)
推荐(0)
摘要：
背景 Apache DolphinScheduler 定时任务配置采用的 7 位 Crontab 表达式，分别对应秒、分、时、月天、月、周天、年。 在团队日常开发工作中，工作流的定时调度一般不会细化到秒级别。但历史上出现过因配置的疏忽大意而产生故障时间，如应该配置每分钟执行的工作流被配置长了每秒执行 阅读全文
posted @ 2024-12-10 22:29
海豚调度
阅读(297)
评论(0)
推荐(0)
摘要：
问题描述 由于 Apache DolphinScheduler 长期运行，任务数量不断增加，相关任务数据主要存储在数据库中的 t_ds_task_instance 和 t_ds_process_instance 两张表中。 随着这两张表数据量的持续增长，导致系统页面出现卡顿现象。 解决方案 为解决上 阅读全文
posted @ 2024-12-06 15:33
海豚调度
阅读(371)
评论(0)
推荐(0)
摘要：
这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！ 阅读全文
posted @ 2024-12-05 10:23
海豚调度
阅读(75)
评论(0)
推荐(0)
摘要：
背景描述 注意 : 在 Dolphinscheduler 中，离线任务是有完整的声明周期的，比如说停止、暂停、暂停恢复、重跑等等，都是以DAG(有向无环图的形式进行任务组织)T+1离线任务的。 Dolphinscheduler DAG实现 org.apache.dolphinscheduler.co 阅读全文
posted @ 2024-12-05 10:18
海豚调度
阅读(444)
评论(0)
推荐(0)
摘要：
在数字化转型的浪潮中，Apache DolphinScheduler以其强大的调度能力，成为连接传统行业与前沿科技的桥梁。2024年12月17日14:00， Apache DolphinScheduler社区将举办一场线上用户交流活动，届时将邀请来自能源投资工程和智能驾驶领域的专家，分享Dolphi 阅读全文
posted @ 2024-12-03 14:44
海豚调度
阅读(65)
评论(0)
推荐(0)
摘要：
本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则 阅读全文
posted @ 2024-11-27 15:16
海豚调度
阅读(210)
评论(0)
推荐(0)
浙公网安备 33010602011771号