在当今的数据驱动时代，企业面临着日益复杂的数据处理和工作流管理需求。为了满足这些需求，市场上出现了多种工具，其中DolphinScheduler和SeaTunnel与AirFlow和NiFi是两组经常被提及的解决方案。本文将深入探讨这两组工具的对比，从功能、性能、易用性等多个维度进行分析，以帮助企业 ...

仅展示部分案例，文末附完整版 引言 数据驱动时代，高效的数据处理和分析能力已成为各行各业的核心竞争力。而高效的数据处理离不开强大的工作流调度系统。Apache DolphinScheduler 正是这样一款功能强大的分布式工作流调度平台，它以其灵活的架构、强大的功能和易于使用的界面，帮助企业和组 ...

随着企业数字化转型的加速，数据管理和分析变得越来越重要。传统的指标管理平台虽然已经能够帮助企业有效地收集、计算、管理和展示关键指标，但在业务分析层面，面对日益复杂的数据环境和业务需求，单纯依靠人工分析已经难以满足高效、精准的管理要求。为此，将指标管理平台与AI大模型相结合，成为了一种新的趋势。 本文 ...

文|作业帮大数据团队（阮文俊、孙建业） 背 景 基于 Apache DolphinScheduler （以下简称DolphinScheduler）搭建的 UDA 任务调度平台有效支撑了公司的业务数据开发需求，处理着日均百万级别的任务量。 整个 UDA 的架构如下图所示，其中我们的引擎层主要基于 Do ...

1、下载安装包 如果没安装wget，先安装一下wget yum install wget -y wget 获取网络资源 wget http://download.redis.io/releases/redis-6.2.6.tar.gz 2、解压到指定目录 tar -zxvf redis-6.2.6. ...

“只有决策快、公司运营快之后，公司才能实现降本增效”。 从北京到新疆、从中国到南非，从奥运会场馆的水泥混凝土到钱塘江畔拔地而起的高楼房产，无不存在着某大型国有集团的身影。 历经60多年沧桑巨变，该集团已发展成为以“新型绿色环保建材制造、贸易及服务，房地产开发经营、物业管理”为主业的市属大型国有控股产 ...

复杂事件处理（CEP）是一种对事件流进行分析的技术，它能够识别出数据流中的事件序列是否符合特定的模式，并允许用户对这些模式进行处理。Flink CEP 是 CEP 在 Apache Flink 中的具体实现，是 Apache Flink 的一个库，使用户可以在 Flink 的流处理引擎上进行复杂事件 ...

视频及PPT等相关资料：点击查看 讲师介绍 陶超权，博世智驾（中国）后端工程师，负责数据处理和数据调度方面工作，在智能驾驶数据处理领域具有丰富的实践经验。在2024年12月Apache DolphinScheduler社区线上交流会上上，他分享了Apache DolphinScheduler在智能驾 ...

如果你需要使用Apache SeaTunnel将MongoDB数据库的数据同步到Doris，你可以按照以下步骤进行操作。这些步骤基于Apache SeaTunnel的官方文档和社区提供的最佳实践： 一、环境准备 下载并安装SeaTunnel： 访问SeaTunnel的官方GitHub页面，下载最新稳 ...

1. 基本信息 数据质量管理：数据可靠性与数据质量问题解决之道 [美] 巴尔·摩西，[美] 利奥·加维什，[美] 莫莉· 著 机械工业出版社,2024年5月出版 1.1. 读薄率 书籍总字数18.8万字，笔记总字数61295字。 读薄率61295÷188000≈32.6% 1.2. 读厚方向 Dat ...

“数智基建+数智应用”赋能分享01期实录，该分享课件已上传至官网 ➡️课件下载：https://www.dtstack.com/resources/1084/?src=szsm 以下为本次分享的回顾： 一、实现企业级大数据平台的国产化数据替代 1、数据指数增长使企业发展陷入挑战 自21世纪以来，互联 ...

11月14日，上海交通大学上海高级金融学院发布了2024年上半年《中国企业数据资产入表情况跟踪报告》。《报告》表示，数据资产入表公司数量从2024年一季度末的17家增加至2024年上半年末的41家，入表总金额由0.79亿元增加至13.64亿元。无论是入表企业数量、入表总额还是企业规模，中国企业完成数 ...

视频演示：https://weixin.qq.com/sph/AQ0oGKk12 今天我将向大家详细介绍 如何使用 WhaleStudio 将数据从 Aurora CDC（Change Data Capture）实时同步至 Redshift 的功能。这是一个强大的数据同步功能，它支持多种数据源，包括 ...

背景 Apache DolphinScheduler 定时任务配置采用的 7 位 Crontab 表达式，分别对应秒、分、时、月天、月、周天、年。 在团队日常开发工作中，工作流的定时调度一般不会细化到秒级别。但历史上出现过因配置的疏忽大意而产生故障时间，如应该配置每分钟执行的工作流被配置长了每秒执行 ...

镜像服务器清理 对于整个机器 rm -rf /tmp/* rm -rf /usr/tmp/* rm -rf /var/log/* rm -rf /var/run/log/* rm -rf /root/* rm -rf /paimon 对于Dinky rm -rf /opt/service/dinky ...

问题描述 由于 Apache DolphinScheduler 长期运行，任务数量不断增加，相关任务数据主要存储在数据库中的 t_ds_task_instance 和 t_ds_process_instance 两张表中。 随着这两张表数据量的持续增长，导致系统页面出现卡顿现象。 解决方案 为解决上 ...

各位热爱 Apache SeaTunnel 的小伙伴们，社区10月份月报更新啦！这里将记录 SeaTunnel 社区每月的重要更新，欢迎关注！ 月度Merge之星 感谢以下小伙伴 11 月份为 Apache SeaTunnel 所做的精彩贡献（排名不分先后）： 用户名 用户名 用户名 用户名 用户名 ...

背景描述 注意 : 在 Dolphinscheduler 中，离线任务是有完整的声明周期的，比如说停止、暂停、暂停恢复、重跑等等，都是以DAG(有向无环图的形式进行任务组织)T+1离线任务的。 Dolphinscheduler DAG实现 org.apache.dolphinscheduler.co ...

本文介绍了从第一代基于Hadoop体系的离线数据同步，到第二代基于DolphinScheduler和StarRocks的改进方案，再到第三代基于Python自定义的离线数据同步的演变过程。每一代方案都在不断优化，以适应日益增长的数据量和复杂的业务需求。 ...

1. 区分备份与档案 1.1. 两个完全不同的操作 1.1.1. 要实现的是两个完全不同的目标 1.1.2. 备份(backup) 1.1.3. 档案(archive) 1.2. 有些产品既能制作备份，又能制作档案 1.3. 某些产品或服务明明是专门用来制作备份的，但有人却偏偏想顺便用它来制作档案 ...