海豚调度 - 博客园

2024年5月

Apache DolphinScheduler 3.3.0 版本重磅更新提前看！

摘要： Apache DolphinScheduler 3.3.0版本终于要在万众期待中发布啦！本次发版将有重大功能更新，包括架构上的调整。为了让广大用户提前尝鲜，社区特别准备了直播活动提前揭秘3.3.0版本中的重要更新，到时候你将会了解到这些信息： 3.3.0版本的工作流引擎改进任务执行流程的优化架阅读全文

posted @ 2024-05-08 16:37 海豚调度阅读(225) 评论(0) 推荐(0)

Apache DolphinScheduler 4月简报：社区发展与技术革新速递

摘要：各位热爱 DolphinScheduler 的小伙伴们，4 月份的 DolphinScheduler 社区月报更新啦！这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！月度 Merge 之星感谢以下小伙伴 4 月为 Apache DolphinScheduler 所做的阅读全文

posted @ 2024-05-08 15:33 海豚调度阅读(121) 评论(0) 推荐(0)

2024年4月

Apache DolphinScheduler支持Flink吗？

摘要：随着大数据技术的快速发展，很多企业开始将Flink引入到生产环境中，以满足日益复杂的数据处理需求。而作为一款企业级的数据调度平台，Apache DolphinScheduler也跟上了时代步伐，推出了对Flink任务类型的支持。 Flink是一个开源的分布式流处理框架，具有高吞吐量、低延迟和准确性等阅读全文

posted @ 2024-04-30 11:34 海豚调度阅读(966) 评论(0) 推荐(0)

利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库（一）云上云下数据同步方案设计

摘要：引言在数据驱动的世界中，企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器数据仓库的解耦方法。 Apache EMR（E 阅读全文

posted @ 2024-04-25 13:03 海豚调度阅读(169) 评论(0) 推荐(0)

用DolphinScheduler轻松实现Flume数据采集任务自动化！

摘要：转载自天地风雷水火山泽目的因为我们的数仓数据源是Kafka，离线数仓需要用Flume采集Kafka中的数据到HDFS中。在实际项目中，我们不可能一直在Xshell中启动Flume任务，一是因为项目的Flume任务很多，二是一旦Xshell页面关闭Flume任务就会停止，这样非常不方便，因此必须阅读全文

posted @ 2024-04-24 17:59 海豚调度阅读(310) 评论(0) 推荐(0)

告别手动调度，海豚调度器 3.1.x 集群部署让你轻松管理多机！

摘要：转载自第一片心意 1 前言由于海豚调度器官网的集群部署文档写的较乱，安装过程中需要跳转到很多地方进行操作，所以自己总结了一篇可以直接跟着从头到尾进行操作的文档，以方便后续的部署、升级、新增节点、减少节点的相关操作。 2. 提前准备 2.1. 基础组件 JDK：下载JDK (1.8+)，安装并配置阅读全文

posted @ 2024-04-23 17:41 海豚调度阅读(1030) 评论(0) 推荐(0)

WhaleScheduler为银行业全信创环境打造统一调度管理平台解决方案

摘要：项目背景数字金融是数字经济的重要支撑和驱动力。近年来，我国针对数字金融的发展政策频频出台，《金融科技发展规划（2022-2025年）》、《“十四五”数字经济发展规划》、《关于银行业保险业数字化转型的指导意见》、《金融标准化“十四五”发展规划》等相继发布，顶层设计逐步完善。 2024年，政府工作阅读全文

posted @ 2024-04-19 16:58 海豚调度阅读(372) 评论(0) 推荐(0)

用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本

摘要：在实际项目中，从Kafka到HDFS的数据是每天自动生成一个文件，按日期区分。而且Kafka在不断生产数据，因此看看kettle是不是需要时刻运行？能不能按照每日自动生成数据文件？为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况，特地提前跑一下海豚定时调度这个任务，看看阅读全文

posted @ 2024-04-17 18:32 海豚调度阅读(975) 评论(0) 推荐(0)

这篇 DolphinScheduler on k8s 云原生部署实践，值得所有大数据人看！

摘要：在当前快速发展的技术格局中，企业寻求创新解决方案来简化运营并提高效率成为一种趋势。 Apache DolphinScheduler作为一个强大的工具，允许跨分布式系统进行复杂的工作流任务调度。本文将深入探讨如何将Apache DolphinScheduler适配并整合进现代IT环境，提升其在云原生部阅读全文

posted @ 2024-04-17 17:26 海豚调度阅读(2526) 评论(0) 推荐(0)

【安装部署】Apache SeaTunnel 和 Web快速安装详解

摘要：版本说明由于作者目前接触当前最新版本为2.3.4 但是官方提供的web版本未1.0.0，不兼容2.3.4，因此这里仍然使用2.3.3版本。可以自定义兼容处理，官方提供了文档：https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ 因为大部分用户使用Se 阅读全文

posted @ 2024-04-16 12:20 海豚调度阅读(3057) 评论(0) 推荐(0)

公告