上一页 1 2 3 4 5 6 7 ··· 25 下一页
摘要: 在当今快速发展的世界中,数据被视为新的石油。随着对数据驱动洞察的日益依赖,大数据工程师的角色比以往任何时候都更为关键。 这些专业人员在管理和优化组织内的数据操作中扮演着至关重要的角色。在本文中,我们将探索2024年大数据工程师必须具备的十项技能。 理解大数据工程师的角色 在深入技能之前,了解大数据工 阅读全文
posted @ 2024-04-16 10:58 海豚调度 阅读(93) 评论(0) 推荐(0) 编辑
摘要: 在实际项目中,从Kafka到HDFS的数据是每天自动生成一个文件,按日期区分。而且Kafka在不断生产数据,因此看看kettle是不是需要时刻运行?能不能按照每日自动生成数据文件? 为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况,特地提前跑一下海豚定时调度这个任务,看看 阅读全文
posted @ 2024-04-15 16:05 海豚调度 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 各位热爱 DolphinScheduler 的小伙伴们,DolphinScheduler 社区月报开始更新啦!这里将记录 DolphinScheduler 社区每月的重要更新。 社区为 DolphinScheduler 3.2.x 版本做了诸多功能改进和 bug 修复 DolphinSchedule 阅读全文
posted @ 2024-04-11 17:02 海豚调度 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 很高兴和大家宣布,Apache DolphinScheduler 社区今年再次成功入选入选由中国科学院软件研究所开源软件供应链点亮计划发起的“开源之夏”活动。 入选公示链接:https://mp.weixin.qq.com/s/9ExBWGoFPzZ0_SrpAcosZg 此活动旨在鼓励和引导在校学 阅读全文
posted @ 2024-04-11 10:41 海豚调度 阅读(15) 评论(0) 推荐(0) 编辑
摘要: Apache DolphinScheduler已支持Apache SeaTunnel任务类型,本文介绍了SeaTunnel任务类型如何创建,任务参数,以及任务样例。 一、Apache SeaTunnel SeaTunnel 任务类型,用于创建并执行 SeaTunnel 类型任务。worker 执行该 阅读全文
posted @ 2024-04-02 16:28 海豚调度 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 升级背景 因项目需要使用数据质量模块功能,可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上,此次选择测试了3.0.1 和 3.1.1 两个版本,对进行同数据等任务调度暂停等操作测试,最后选择3.0.1 版本 原因: 1. 3.1.1 在测试sql任务时 ,同时启动上百s 阅读全文
posted @ 2024-03-26 09:29 海豚调度 阅读(94) 评论(0) 推荐(0) 编辑
摘要: 背景 近年来随着国际形势的变化,信创产业成为我国国家战略的一部分。一直以来,一直以来,全球 ICT 产业底层标准、架构、产品、生态等要素均由国外公司或机构制定和控制,使我国 ICT 产业乃至广大用户面临被卡脖子、数据泄露、信息安全等诸多风险,尤其是 2018年以来,中兴、华为等公司的遭遇成为鲜活的实 阅读全文
posted @ 2024-03-22 13:47 海豚调度 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 在用Apache SeaTunnel研发SM2加密组件过程中,发现社区关于本地调试SeaTunnel文章过于简单,很多情况没有说明,于是根据自己遇到问题总结这篇文档。SeaTunnel本地调试官方文档,希望对大家有所帮助! 使用的引擎为Flink(不需要下载,SeaTunnel中有加载依赖),输入输 阅读全文
posted @ 2024-03-20 17:37 海豚调度 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 我司使用Apache DolphinScheduler作为调度框架很久了,感兴趣的小伙伴可以看看这些干货文章: 因为之前监控到会出现重复的调度的问题,所以此文记录排查重复调度问题的全过程,希望对社区其他的小伙伴能够起到抛砖引玉的作用! 注:本文使用的DolphinScheduler 3.1.1的版本 阅读全文
posted @ 2024-03-18 16:27 海豚调度 阅读(132) 评论(0) 推荐(0) 编辑
摘要: 集群部署方案(2 Master + 3 Worker) Apache DolphinScheduler官网:https://dolphinscheduler.apache.org/zh-cn Apache DolphinScheduler使用文档:https://dolphinscheduler.a 阅读全文
posted @ 2024-03-11 15:16 海豚调度 阅读(607) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 25 下一页