海豚调度 - 博客园

2024年12月

摘要：这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！阅读全文

posted @ 2024-12-05 10:23 海豚调度阅读(60) 评论(0) 推荐(0)

摘要：背景描述注意 : 在 Dolphinscheduler 中，离线任务是有完整的声明周期的，比如说停止、暂停、暂停恢复、重跑等等，都是以DAG(有向无环图的形式进行任务组织)T+1离线任务的。 Dolphinscheduler DAG实现 org.apache.dolphinscheduler.co 阅读全文

posted @ 2024-12-05 10:18 海豚调度阅读(411) 评论(0) 推荐(0)

能源投资工程VS智能驾驶，DolphinScheduler如何当好传统行业与前沿科技的桥梁？

摘要：在数字化转型的浪潮中，Apache DolphinScheduler以其强大的调度能力，成为连接传统行业与前沿科技的桥梁。2024年12月17日14:00， Apache DolphinScheduler社区将举办一场线上用户交流活动，届时将邀请来自能源投资工程和智能驾驶领域的专家，分享Dolphi 阅读全文

posted @ 2024-12-03 14:44 海豚调度阅读(61) 评论(0) 推荐(0)

2024年11月

新兴数据仓库设计与实践手册：从分层架构到实际应用（三）

摘要：本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。第一部分介绍数据仓库的整体架构概述；第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用；第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开；通过这样的结构，您可以系统地学习每一层次的内容和设计原则阅读全文

posted @ 2024-11-27 15:16 海豚调度阅读(194) 评论(0) 推荐(0)

新兴数据仓库设计与实践手册：从分层架构到实际应用（三）

posted @ 2024-11-27 11:17 海豚调度阅读(276) 评论(0) 推荐(1)

DolphinScheduler JavaTask动态传参秘籍：轻松实现任务间数据流动

摘要： Apache DolphinScheduler的JavaTask可以通过在任务执行日志中输出特定格式的参数来支持OUT参数的下游传输，通过捕捉日志并将其作为参数传递给下游任务。这种机制允许任务间的数据流动和通信，增强了工作流的灵活性和动态性。那具体要怎么做呢？本文将进行详细的讲解。 0 修改一行源阅读全文

posted @ 2024-11-26 15:04 海豚调度阅读(449) 评论(0) 推荐(0)

占用磁盘100%？Apache DolphinScheduler 日志如何定时清理！

摘要：当 Apache DolphinScheduler 运行几个月后，大部分朋友会发现 Logs 下的运行日志越来越多，这时可以考虑清理下 Logs/ 目录下的日志文件，比如设置只保留最近 3 天的日志，怎么操作呢？可以通过执行以下三个命令来实现： find ./logs -type f -mtime 阅读全文

posted @ 2024-11-26 11:40 海豚调度阅读(711) 评论(0) 推荐(0)

从ETL到DataOps：WhaleStudio替代Informatica，实现信创化升级

摘要：作者 | 白鲸开源姜维在数据集成和调度的领域，Informatica曾经是公认的权威工具。其强大的ETL功能、多年积累的市场经验，使其成为众多企业数据处理的核心工具。然而，随着新一代大数据平台的迅速崛起，以及信创化改造的要求愈发严格，Informatica在现今复杂多变的生产环境中逐渐显现出不阅读全文

posted @ 2024-11-25 16:16 海豚调度阅读(279) 评论(0) 推荐(0)

2024中国互联网发展创新与投资大赛（开源）总结发布会落幕，Apache DolphinScheduler荣获一等奖

摘要：近日，由中央网信办信息化发展局指导，中国互联网发展基金会、中国网络空间研究院和中国互联网投资基金联合主办的“2024中国互联网发展创新与投资大赛（开源）”总结发布活动在北京圆满落下帷幕。本届大赛以“开源创新，共建生态”为主题，旨在推动开源生态的高质量发展，选拔优秀开源项目，促进技术创新与人才培养。阅读全文

posted @ 2024-11-22 15:20 海豚调度阅读(65) 评论(0) 推荐(0)

大数据调度组件之Apache DolphinScheduler

摘要： Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。主要特性易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes 阅读全文

posted @ 2024-11-20 14:24 海豚调度阅读(960) 评论(0) 推荐(0)

公告