海豚调度 - 博客园

2024年10月

白鲸开源WhaleStudio项目获得“创客北京2024”企业组优秀奖，晋级复赛！

摘要：近日，“创客北京2024”海淀区复赛名单正式公布，白鲸开源凭借其全球领先的云原生DataOps平台——WhaleStudio，荣获企业组优秀奖，并成功进入复赛名单。此次“创客北京2024”海淀区级赛由中关村科学城管理委员会主办，北京中关村科学城科创服务有限公司与中国北京（海淀）留学人员创业园（海淀阅读全文

posted @ 2024-10-12 15:15 海豚调度阅读(53) 评论(0) 推荐(0)

深入解析 DolphinScheduler 任务调度、拆分与执行全流程

摘要： Apache DolphinScheduler介绍 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Dag背景知识摘录了一下Dag的offical定义 A 阅读全文

posted @ 2024-10-10 14:46 海豚调度阅读(1461) 评论(0) 推荐(0)

Apache DolphinScheduler-1.3.9源码分析（二）

摘要：引言随着大数据的发展，任务调度系统成为了数据处理和管理中至关重要的部分。Apache DolphinScheduler 是一款优秀的开源分布式工作流调度平台，在大数据场景中得到广泛应用。在本文中，我们将对 Apache DolphinScheduler 1.3.9 版本的源码进行深入分析，主要分阅读全文

posted @ 2024-10-10 11:36 海豚调度阅读(234) 评论(0) 推荐(0)

Apache DolphinScheduler社区9月进展记录

摘要：各位热爱 Apache DolphinScheduler 的小伙伴们，社区 9 月月报更新啦！这里将记录 Apache DolphinScheduler 社区每月的重要更新，欢迎关注！月度 Merge Star 感谢以下小伙伴上个月为 Apache DolphinScheduler 做的精彩贡献（阅读全文

posted @ 2024-10-09 17:22 海豚调度阅读(63) 评论(0) 推荐(0)

2024年9月

深入工作流调度的内核

摘要：在大数据时代，工作流任务调度系统成为了数据处理和业务流程管理的核心组件，在大数据平台的构建和开发过程中尤为重要。随着数据量的激增和业务需求的多样化，合理的任务调度不仅能够提高资源利用率，还能保证业务流程的稳定和高效运行。本文将结合实际场景，探讨目前市面上常见的工作流任务调度及其关键特性。一、工作流阅读全文

posted @ 2024-09-27 10:38 海豚调度阅读(471) 评论(0) 推荐(0)

Apache DolphinScheduler-1.3.9源码分析（一）

摘要：引言随着大数据的发展，任务调度系统成为了数据处理和管理中至关重要的部分。Apache DolphinScheduler 是一款优秀的开源分布式工作流调度平台，在大数据场景中得到广泛应用。在本文中，我们将对 Apache DolphinScheduler 1.3.9 版本的源码进行深入分析，介绍阅读全文

posted @ 2024-09-26 13:42 海豚调度阅读(334) 评论(0) 推荐(0)

轻松编排工作流，浅谈DolphinScheduler如何使用Python调用API接口？

摘要：最近，在做某大型零售企业项目时，有客户用到DolphinScheduler，并咨询是否可以用Python脚本编排工作流？该如何实现？相信有很多人会有这样的疑问，那么，本文将为我们简单分享DolphinScheduler的优势和实际使用。为什么企业数据开发要使用海豚调度？当企业在做数据开发时，任务阅读全文

posted @ 2024-09-25 14:22 海豚调度阅读(997) 评论(0) 推荐(0)

中电信翼康基于Apache Dolphinscheduler重构“星海·济世医疗数据中台”实践经验分享

摘要：文章作者：尚志忠编辑整理：曾辉行业背景随着大数据、云计算、5G、人工智能等技术的快速发展，以及医疗信息化建设的不断深入，数据中台作为打通医疗数据融合壁垒、实现数据互通与共享、构建高效数据应用的关键信息平台，正逐渐成为推动医疗行业数字化转型和创新发展的重要力量。星海·济世医疗数据中台介绍中国阅读全文

posted @ 2024-09-20 13:30 海豚调度阅读(277) 评论(0) 推荐(0)

怎么办？用DolphinScheduler调度执行复杂的HiveSQL时无法正确识别符号

摘要：在使用Apache DolphinScheduler调度执行复杂的HiveSQL时，HQL包含多种海豚无法正确识别的符号，怎么办？本文提供了可行的思路和方法，供用户参考。一、目的在Hive中完成复杂JSON，既有对象还有数组而且数组中包含数组的解析后，原本以为没啥问题了，结果在DolphinSc 阅读全文

posted @ 2024-09-19 11:19 海豚调度阅读(205) 评论(0) 推荐(0)

单机快速部署开源、免费的分布式任务调度系统——Apache DolphinScheduler

摘要：本文主要为大家介绍Apache DolphinScheduler的单机部署方式，方便大家快速体验。环境准备需要Java环境，这是一个老生常谈的问题，关于Java环境的安装与配置期望大家都可以熟练掌握。验证java环境 java -version 下载安装包并解压使用wget下载安装包 wge 阅读全文

posted @ 2024-09-14 14:04 海豚调度阅读(883) 评论(0) 推荐(0)

公告