上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 47 下一页
2024年12月
Dolphinscheduler DAG核心源码剖析
摘要： 背景描述 注意 : 在 Dolphinscheduler 中，离线任务是有完整的声明周期的，比如说停止、暂停、暂停恢复、重跑等等，都是以DAG(有向无环图的形式进行任务组织)T+1离线任务的。 Dolphinscheduler DAG实现 org.apache.dolphinscheduler.co 阅读全文
posted @ 2024-12-05 10:18 海豚调度 阅读(448) 评论(0) 推荐(0)
能源投资工程VS智能驾驶，DolphinScheduler如何当好传统行业与前沿科技的桥梁？
摘要： 在数字化转型的浪潮中，Apache DolphinScheduler以其强大的调度能力，成为连接传统行业与前沿科技的桥梁。2024年12月17日14:00， Apache DolphinScheduler社区将举办一场线上用户交流活动，届时将邀请来自能源投资工程和智能驾驶领域的专家，分享Dolphi 阅读全文
posted @ 2024-12-03 14:44 海豚调度 阅读(67) 评论(0) 推荐(0)
2024年11月
新兴数据仓库设计与实践手册：从分层架构到实际应用（三）
摘要： 本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则 阅读全文
posted @ 2024-11-27 15:16 海豚调度 阅读(214) 评论(0) 推荐(0)
新兴数据仓库设计与实践手册：从分层架构到实际应用（三）
摘要： 本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则 阅读全文
posted @ 2024-11-27 11:17 海豚调度 阅读(319) 评论(0) 推荐(1)
DolphinScheduler JavaTask动态传参秘籍：轻松实现任务间数据流动
摘要： Apache DolphinScheduler的JavaTask可以通过在任务执行日志中输出特定格式的参数来支持OUT参数的下游传输，通过捕捉日志并将其作为参数传递给下游任务。这种机制允许任务间的数据流动和通信，增强了工作流的灵活性和动态性。 那具体要怎么做呢？本文将进行详细的讲解。 0 修改一行源 阅读全文
posted @ 2024-11-26 15:04 海豚调度 阅读(506) 评论(0) 推荐(0)
占用磁盘100%？Apache DolphinScheduler 日志如何定时清理！
摘要： 当 Apache DolphinScheduler 运行几个月后，大部分朋友会发现 Logs 下的运行日志越来越多，这时可以考虑清理下 Logs/ 目录下的日志文件，比如设置只保留最近 3 天的日志，怎么操作呢？ 可以通过执行以下三个命令来实现： find ./logs -type f -mtime 阅读全文
posted @ 2024-11-26 11:40 海豚调度 阅读(819) 评论(0) 推荐(0)
从ETL到DataOps：WhaleStudio替代Informatica，实现信创化升级
摘要： 作者 | 白鲸开源 姜维 在数据集成和调度的领域，Informatica曾经是公认的权威工具。其强大的ETL功能、多年积累的市场经验，使其成为众多企业数据处理的核心工具。 然而，随着新一代大数据平台的迅速崛起，以及信创化改造的要求愈发严格，Informatica在现今复杂多变的生产环境中逐渐显现出不 阅读全文
posted @ 2024-11-25 16:16 海豚调度 阅读(320) 评论(0) 推荐(0)
2024中国互联网发展创新与投资大赛（开源）总结发布会落幕，Apache DolphinScheduler荣获一等奖
摘要： 近日，由中央网信办信息化发展局指导，中国互联网发展基金会、中国网络空间研究院和中国互联网投资基金联合主办的“2024中国互联网发展创新与投资大赛（开源）”总结发布活动在北京圆满落下帷幕。本届大赛以“开源创新，共建生态”为主题，旨在推动开源生态的高质量发展，选拔优秀开源项目，促进技术创新与人才培养。 阅读全文
posted @ 2024-11-22 15:20 海豚调度 阅读(74) 评论(0) 推荐(0)
大数据调度组件之Apache DolphinScheduler
摘要： Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 主要特性 易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes 阅读全文
posted @ 2024-11-20 14:24 海豚调度 阅读(1076) 评论(0) 推荐(0)
新兴数据仓库设计与实践手册：从分层架构到实际应用（二）
摘要： 本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则 阅读全文
posted @ 2024-11-20 11:47 海豚调度 阅读(202) 评论(0) 推荐(0)
上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 47 下一页