摘要:
本手册将分为三部分发布,以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述; 第二部分深入讨论ETL在数仓中的应用理论,ODS层的具体实现与应用; 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开; 通过这样的结构,您可以系统地学习每一层次的内容和设计原则 阅读全文
posted @ 2024-11-20 11:47
海豚调度
阅读(178)
评论(0)
推荐(0)
摘要:
导读 在 LLM 蓬勃发展的今天,数据工程已成为支持大规模 AI 模型训练的基石。DataOps 作为数据工程的重要方法论,通过优化数据集成、转换和自动化运维,加速数据到模型的闭环流程。本文聚焦新一代数据 & AI 集成工具- Apache SeaTunnel 在 DataOps 中的核心作用,并介 阅读全文
posted @ 2024-11-19 15:31
海豚调度
阅读(325)
评论(0)
推荐(0)
摘要:
Apache DolphinScheduler 是一个分布式、易扩展的可视化数据工作流任务调度系统,广泛应用于数据调度和处理领域。 在大规模数据工程项目中,数据质量的管理至关重要,而 DolphinScheduler 也提供了数据质量检查的计算能力。本文将对 Apache DolphinSchedu 阅读全文
posted @ 2024-11-19 12:11
海豚调度
阅读(719)
评论(0)
推荐(0)
摘要:
MapReduce是一种编程模型,用于处理和生成大数据集,主要用于大规模数据集(TB级数据规模)的并行运算。本文详细介绍了Dolphinscheduler在MapReduce任务中的应用,包括GenericOptionsParser与args的区别、hadoop jar命令参数的完整解释、MapReduce实例代码,以及如何在Dolphinscheduler中配置和运行MapReduce任务。 阅读全文
posted @ 2024-11-18 14:41
海豚调度
阅读(103)
评论(0)
推荐(0)
摘要:
Quartz是一个开源的Java作业调度框架,它提供了强大的定时任务调度功能。在DolphinScheduler中,Quartz用于实现定时任务的调度和管理。DolphinScheduler通过QuartzExecutorImpl类与Quartz集成,将工作流及其定时管理操作与Quartz调度框架相 阅读全文
posted @ 2024-11-18 14:38
海豚调度
阅读(725)
评论(0)
推荐(0)
摘要:
各位热爱 Apache DolphinScheduler 的小伙伴们,社区10月份月报更新啦!这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注! 月度Merge之星 感谢以下小伙伴10月份为 Apache DolphinScheduler 所做的精彩贡献(排名不分先后): 阅读全文
posted @ 2024-11-15 14:35
海豚调度
阅读(68)
评论(0)
推荐(0)
摘要:
在数字化转型的浪潮下,银行业对数据的依赖日益加深。为提升数据管理和应用水平,西南某城商行于2022年启动了数据中台建设,采用创新技术手段优化其数据服务体系。 本文将深入探讨该行如何借助Whalestudio平台构建数据中台,以及在实际应用中取得的显著成效。 从需求到选择:数据中台系统的选型过程 该银 阅读全文
posted @ 2024-11-14 16:27
海豚调度
阅读(69)
评论(0)
推荐(0)
摘要:
在大数据和现代 IT 环境中,任务调度与工作负载自动化(WLA)工具是优化资源利用、提升生产效率的核心驱动力。随着企业对数据分析、实时处理和多地域任务调度需求的增加,这些工具成为关键技术。 本文将介绍当前技术发展背景下的Top 10开源任务调度工具,并探讨它们在大数据和工作负载管理中的实际应用。 任 阅读全文
posted @ 2024-11-08 12:13
海豚调度
阅读(2301)
评论(0)
推荐(0)
摘要:
在当今快速发展的技术领域,DevOps、DataOps和MLOps成为了推动企业数字化转型的三大核心实践。它们各自关注不同的领域,但又相互关联,共同推动着软件和数据的高效开发与运营。 DevOps:软件开发的加速器 DevOps是一种将开发(Development)和运营(Operations)结合 阅读全文
posted @ 2024-11-08 10:19
海豚调度
阅读(102)
评论(0)
推荐(0)
摘要:
01 背景 公司的数据开发平台需要用到DolphinScheduler做任务调度,其中一个场景是:上游任务执行结束后,需要将任务执行结果传递给下游任务。 DolphinScheduler肯定是能实现任务之间的传参的,具体的可以看:DolphinScheduler | 文档中心 (https://do 阅读全文
posted @ 2024-11-07 16:37
海豚调度
阅读(568)
评论(0)
推荐(0)
浙公网安备 33010602011771号