上一页 1 2 3 4 5 6 ··· 24 下一页
摘要: 在当前快速发展的技术格局中,企业寻求创新解决方案来简化运营并提高效率成为一种趋势。 Apache DolphinScheduler作为一个强大的工具,允许跨分布式系统进行复杂的工作流任务调度。本文将深入探讨如何将Apache DolphinScheduler适配并整合进现代IT环境,提升其在云原生部 阅读全文
posted @ 2024-04-17 17:26 海豚调度 阅读(143) 评论(0) 推荐(0) 编辑
摘要: 版本说明 由于作者目前接触当前最新版本为2.3.4 但是官方提供的web版本未1.0.0,不兼容2.3.4,因此这里仍然使用2.3.3版本。 可以自定义兼容处理,官方提供了文档:https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ 因为大部分用户使用Se 阅读全文
posted @ 2024-04-16 12:20 海豚调度 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 在当今快速发展的世界中,数据被视为新的石油。随着对数据驱动洞察的日益依赖,大数据工程师的角色比以往任何时候都更为关键。 这些专业人员在管理和优化组织内的数据操作中扮演着至关重要的角色。在本文中,我们将探索2024年大数据工程师必须具备的十项技能。 理解大数据工程师的角色 在深入技能之前,了解大数据工 阅读全文
posted @ 2024-04-16 10:59 海豚调度 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 在实际项目中,从Kafka到HDFS的数据是每天自动生成一个文件,按日期区分。而且Kafka在不断生产数据,因此看看kettle是不是需要时刻运行?能不能按照每日自动生成数据文件? 为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况,特地提前跑一下海豚定时调度这个任务,看看 阅读全文
posted @ 2024-04-15 16:06 海豚调度 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 各位热爱 DolphinScheduler 的小伙伴们,DolphinScheduler 社区月报开始更新啦!这里将记录 DolphinScheduler 社区每月的重要更新。 社区为 DolphinScheduler 3.2.x 版本做了诸多功能改进和 bug 修复 DolphinSchedule 阅读全文
posted @ 2024-04-11 17:02 海豚调度 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 很高兴和大家宣布,Apache DolphinScheduler 社区今年再次成功入选入选由中国科学院软件研究所开源软件供应链点亮计划发起的“开源之夏”活动。 入选公示链接:https://mp.weixin.qq.com/s/9ExBWGoFPzZ0_SrpAcosZg 此活动旨在鼓励和引导在校学 阅读全文
posted @ 2024-04-11 10:41 海豚调度 阅读(15) 评论(0) 推荐(0) 编辑
摘要: Apache DolphinScheduler已支持Apache SeaTunnel任务类型,本文介绍了SeaTunnel任务类型如何创建,任务参数,以及任务样例。 一、Apache SeaTunnel SeaTunnel 任务类型,用于创建并执行 SeaTunnel 类型任务。worker 执行该 阅读全文
posted @ 2024-04-02 16:28 海豚调度 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 升级背景 因项目需要使用数据质量模块功能,可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上,此次选择测试了3.0.1 和 3.1.1 两个版本,对进行同数据等任务调度暂停等操作测试,最后选择3.0.1 版本 原因: 1. 3.1.1 在测试sql任务时 ,同时启动上百s 阅读全文
posted @ 2024-03-26 09:29 海豚调度 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 背景 近年来随着国际形势的变化,信创产业成为我国国家战略的一部分。一直以来,一直以来,全球 ICT 产业底层标准、架构、产品、生态等要素均由国外公司或机构制定和控制,使我国 ICT 产业乃至广大用户面临被卡脖子、数据泄露、信息安全等诸多风险,尤其是 2018年以来,中兴、华为等公司的遭遇成为鲜活的实 阅读全文
posted @ 2024-03-22 13:48 海豚调度 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 在用Apache SeaTunnel研发SM2加密组件过程中,发现社区关于本地调试SeaTunnel文章过于简单,很多情况没有说明,于是根据自己遇到问题总结这篇文档。SeaTunnel本地调试官方文档,希望对大家有所帮助! 使用的引擎为Flink(不需要下载,SeaTunnel中有加载依赖),输入输 阅读全文
posted @ 2024-03-20 17:37 海豚调度 阅读(89) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 24 下一页