海豚调度 - 博客园

2024年10月

摘要： Apache DolphinScheduler介绍 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Dag背景知识摘录了一下Dag的offical定义 A 阅读全文

posted @ 2024-10-10 14:46 海豚调度阅读(1681) 评论(0) 推荐(0)

Apache DolphinScheduler-1.3.9源码分析（二）

摘要：引言随着大数据的发展，任务调度系统成为了数据处理和管理中至关重要的部分。Apache DolphinScheduler 是一款优秀的开源分布式工作流调度平台，在大数据场景中得到广泛应用。在本文中，我们将对 Apache DolphinScheduler 1.3.9 版本的源码进行深入分析，主要分阅读全文

posted @ 2024-10-10 11:36 海豚调度阅读(271) 评论(0) 推荐(0)

Apache DolphinScheduler社区9月进展记录

摘要：各位热爱 Apache DolphinScheduler 的小伙伴们，社区 9 月月报更新啦！这里将记录 Apache DolphinScheduler 社区每月的重要更新，欢迎关注！月度 Merge Star 感谢以下小伙伴上个月为 Apache DolphinScheduler 做的精彩贡献（阅读全文

posted @ 2024-10-09 17:22 海豚调度阅读(73) 评论(0) 推荐(0)

2024年9月

深入工作流调度的内核

摘要：在大数据时代，工作流任务调度系统成为了数据处理和业务流程管理的核心组件，在大数据平台的构建和开发过程中尤为重要。随着数据量的激增和业务需求的多样化，合理的任务调度不仅能够提高资源利用率，还能保证业务流程的稳定和高效运行。本文将结合实际场景，探讨目前市面上常见的工作流任务调度及其关键特性。一、工作流阅读全文

posted @ 2024-09-27 10:38 海豚调度阅读(516) 评论(0) 推荐(0)

Apache DolphinScheduler-1.3.9源码分析（一）

摘要：引言随着大数据的发展，任务调度系统成为了数据处理和管理中至关重要的部分。Apache DolphinScheduler 是一款优秀的开源分布式工作流调度平台，在大数据场景中得到广泛应用。在本文中，我们将对 Apache DolphinScheduler 1.3.9 版本的源码进行深入分析，介绍阅读全文

posted @ 2024-09-26 13:42 海豚调度阅读(367) 评论(0) 推荐(0)

轻松编排工作流，浅谈DolphinScheduler如何使用Python调用API接口？

摘要：最近，在做某大型零售企业项目时，有客户用到DolphinScheduler，并咨询是否可以用Python脚本编排工作流？该如何实现？相信有很多人会有这样的疑问，那么，本文将为我们简单分享DolphinScheduler的优势和实际使用。为什么企业数据开发要使用海豚调度？当企业在做数据开发时，任务阅读全文

posted @ 2024-09-25 14:22 海豚调度阅读(1131) 评论(0) 推荐(0)

中电信翼康基于Apache Dolphinscheduler重构“星海·济世医疗数据中台”实践经验分享

摘要：文章作者：尚志忠编辑整理：曾辉行业背景随着大数据、云计算、5G、人工智能等技术的快速发展，以及医疗信息化建设的不断深入，数据中台作为打通医疗数据融合壁垒、实现数据互通与共享、构建高效数据应用的关键信息平台，正逐渐成为推动医疗行业数字化转型和创新发展的重要力量。星海·济世医疗数据中台介绍中国阅读全文

posted @ 2024-09-20 13:30 海豚调度阅读(331) 评论(0) 推荐(0)

怎么办？用DolphinScheduler调度执行复杂的HiveSQL时无法正确识别符号

摘要：在使用Apache DolphinScheduler调度执行复杂的HiveSQL时，HQL包含多种海豚无法正确识别的符号，怎么办？本文提供了可行的思路和方法，供用户参考。一、目的在Hive中完成复杂JSON，既有对象还有数组而且数组中包含数组的解析后，原本以为没啥问题了，结果在DolphinSc 阅读全文

posted @ 2024-09-19 11:19 海豚调度阅读(226) 评论(0) 推荐(0)

单机快速部署开源、免费的分布式任务调度系统——Apache DolphinScheduler

摘要：本文主要为大家介绍Apache DolphinScheduler的单机部署方式，方便大家快速体验。环境准备需要Java环境，这是一个老生常谈的问题，关于Java环境的安装与配置期望大家都可以熟练掌握。验证java环境 java -version 下载安装包并解压使用wget下载安装包 wge 阅读全文

posted @ 2024-09-14 14:04 海豚调度阅读(1013) 评论(0) 推荐(0)

万字长文 | Apache开源社区出海的“踩坑”之路，看完这3点你就明白了

摘要：引言作为一名软件行业的从业者，我已经在开源社区Remote工作了两年时间。“技术运营” 是一个相对小众的职业，所以如果你在这个行业工作，却找不到自己热情所在或擅长的事情，可能会感觉缺乏价值感（这一点我老板也很认同）。然而，如果你愿意为自己的情怀买单，并全心投入其中，这确实是一件伟大的事情。我并阅读全文

posted @ 2024-09-11 16:56 海豚调度阅读(263) 评论(0) 推荐(0)

公告