摘要：
本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则 阅读全文
posted @ 2024-11-20 11:47
海豚调度
阅读(178)
评论(0)
推荐(0)
摘要：
导读 在 LLM 蓬勃发展的今天，数据工程已成为支持大规模 AI 模型训练的基石。DataOps 作为数据工程的重要方法论，通过优化数据集成、转换和自动化运维，加速数据到模型的闭环流程。本文聚焦新一代数据 & AI 集成工具- Apache SeaTunnel 在 DataOps 中的核心作用，并介 阅读全文
posted @ 2024-11-19 15:31
海豚调度
阅读(325)
评论(0)
推荐(0)
摘要：
Apache DolphinScheduler 是一个分布式、易扩展的可视化数据工作流任务调度系统，广泛应用于数据调度和处理领域。 在大规模数据工程项目中，数据质量的管理至关重要，而 DolphinScheduler 也提供了数据质量检查的计算能力。本文将对 Apache DolphinSchedu 阅读全文
posted @ 2024-11-19 12:11
海豚调度
阅读(719)
评论(0)
推荐(0)
摘要：
MapReduce是一种编程模型，用于处理和生成大数据集，主要用于大规模数据集（TB级数据规模）的并行运算。本文详细介绍了Dolphinscheduler在MapReduce任务中的应用，包括GenericOptionsParser与args的区别、hadoop jar命令参数的完整解释、MapReduce实例代码，以及如何在Dolphinscheduler中配置和运行MapReduce任务。 阅读全文
posted @ 2024-11-18 14:41
海豚调度
阅读(103)
评论(0)
推荐(0)
摘要：
Quartz是一个开源的Java作业调度框架，它提供了强大的定时任务调度功能。在DolphinScheduler中，Quartz用于实现定时任务的调度和管理。DolphinScheduler通过QuartzExecutorImpl类与Quartz集成，将工作流及其定时管理操作与Quartz调度框架相 阅读全文
posted @ 2024-11-18 14:38
海豚调度
阅读(725)
评论(0)
推荐(0)
摘要：
各位热爱 Apache DolphinScheduler 的小伙伴们，社区10月份月报更新啦！这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！ 月度Merge之星 感谢以下小伙伴10月份为 Apache DolphinScheduler 所做的精彩贡献（排名不分先后）： 阅读全文
posted @ 2024-11-15 14:35
海豚调度
阅读(68)
评论(0)
推荐(0)
摘要：
在数字化转型的浪潮下，银行业对数据的依赖日益加深。为提升数据管理和应用水平，西南某城商行于2022年启动了数据中台建设，采用创新技术手段优化其数据服务体系。 本文将深入探讨该行如何借助Whalestudio平台构建数据中台，以及在实际应用中取得的显著成效。 从需求到选择：数据中台系统的选型过程 该银 阅读全文
posted @ 2024-11-14 16:27
海豚调度
阅读(69)
评论(0)
推荐(0)
摘要：
在大数据和现代 IT 环境中，任务调度与工作负载自动化（WLA）工具是优化资源利用、提升生产效率的核心驱动力。随着企业对数据分析、实时处理和多地域任务调度需求的增加，这些工具成为关键技术。 本文将介绍当前技术发展背景下的Top 10开源任务调度工具，并探讨它们在大数据和工作负载管理中的实际应用。 任 阅读全文
posted @ 2024-11-08 12:13
海豚调度
阅读(2301)
评论(0)
推荐(0)
摘要：
在当今快速发展的技术领域，DevOps、DataOps和MLOps成为了推动企业数字化转型的三大核心实践。它们各自关注不同的领域，但又相互关联，共同推动着软件和数据的高效开发与运营。 DevOps：软件开发的加速器 DevOps是一种将开发（Development）和运营（Operations）结合 阅读全文
posted @ 2024-11-08 10:19
海豚调度
阅读(102)
评论(0)
推荐(0)
摘要：
01 背景 公司的数据开发平台需要用到DolphinScheduler做任务调度，其中一个场景是：上游任务执行结束后，需要将任务执行结果传递给下游任务。 DolphinScheduler肯定是能实现任务之间的传参的，具体的可以看：DolphinScheduler | 文档中心 (https://do 阅读全文
posted @ 2024-11-07 16:37
海豚调度
阅读(568)
评论(0)
推荐(0)
浙公网安备 33010602011771号