在数字化转型的大潮中，企业面临着数据爆炸性增长的挑战。如何有效地整合和管理来自不同来源的数据，成为企业提升竞争力的关键。本文将详细介绍惠生工程（中国）基于Apache DolphinScheduler的多源数据集成实践解决方案，包括背景介绍、痛点分析、调度策略设计、关键技术方案以及运维管理经验总结等 ...

在国产软硬件生态建设的征程中，又迎来重要成果。北京白鲸开源科技有限公司与统信软件技术有限公司联合宣布，白鲸数据集成系统V2.6和数据调度系统V2.6分别在统信服务器操作系统V25上通过了严格的功能与兼容性测试，获得了统信软件的互认证明。 白鲸开源数据调度系统V2.6与统信服务器操作系统V25互认证明 ...

引言 在大数据时代，企业面临着数据集成和实时处理的挑战。Apache SeaTunnel 和 Apache Doris 的结合提供了一种解决方案，使得企业能够快速搭建批流一体的数据仓库，全面取代传统的 Lambda 架构。本文将详细介绍 Apache SeaTunnel 的特点，在数据集成领域的核心 ...

功能需求背景 由于信创（信息技术应用创新产业）改造要求，上个月已将从数据仓库推送下游官网系统的ORACLE数据库相关数据推送任务迁移到信创人大金仓临时数据库，整体任务完成切换上线并试运行稳定。 由于年底需要进行信创数据库的正式上线，目前需要将人大金仓临时数据库切换到生产环境的人大金仓正式数据库，两者 ...

Apache SeaTunnel的Embedding转换插件是一个强大的工具，它能够将文本数据转换为向量化表示，从而使得这些数据可以被用于各种机器学习和数据分析任务。这个插件支持多种模型提供商，并且可以轻松集成不同的API。在这篇文档中，我们将深入了解Embedding插件的配置选项，包括如何指定模 ...

Monaco Editor 是一个基于浏览器的代码编辑器，由 Microsoft 开发，是 Visual Studio Code 的核心编辑器组件。为用户提供了一个功能丰富、性能优异的代码编辑环境，常用于 web 应用。 下面本文将从 Monaco Editor 的使用方法、使用逻辑作为切入点，讲述 ...

作者 | 袁丙泽 编辑 | Debra Chen 在处理涉及每年周数问题时，如果处于不同的地区或文化中，总会遇见一些标准问题。比如基督教信徒喜欢把周日当做每周的第一天。而不同的编程语言，也会有自己的处理方案，有些是每年从第0周开始，有些是从第一周开始。对于数据分析者来说，标准不统一带来的歧义是非常致 ...

在生成式AI的浪潮中，数据的重要性日益凸显。大模型在实际业务场景的落地过程中，必须有海量数据的支撑：经过训练、推理和分析等一系列复杂的数据处理过程，才能最终产生业务价值。事实上，大模型本身就是数据处理后的产物，以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题，这正是以阿里云... ...

“数智基建+数智应用”赋能分享02期实录，该分享课件已上传至官网 ➡️课件下载https://www.dtstack.com/resources/1085?src=dsyfwh 以下为本次分享的回顾： 在企业数字化转型的浪潮中，数据已然成为企业最宝贵的资产之一。面对数据量的激增，企业既迎来了前所未有 ...

在当今的数据驱动时代，企业面临着日益复杂的数据处理和工作流管理需求。为了满足这些需求，市场上出现了多种工具，其中DolphinScheduler和SeaTunnel与AirFlow和NiFi是两组经常被提及的解决方案。本文将深入探讨这两组工具的对比，从功能、性能、易用性等多个维度进行分析，以帮助企业 ...

仅展示部分案例，文末附完整版 引言 数据驱动时代，高效的数据处理和分析能力已成为各行各业的核心竞争力。而高效的数据处理离不开强大的工作流调度系统。Apache DolphinScheduler 正是这样一款功能强大的分布式工作流调度平台，它以其灵活的架构、强大的功能和易于使用的界面，帮助企业和组 ...

随着企业数字化转型的加速，数据管理和分析变得越来越重要。传统的指标管理平台虽然已经能够帮助企业有效地收集、计算、管理和展示关键指标，但在业务分析层面，面对日益复杂的数据环境和业务需求，单纯依靠人工分析已经难以满足高效、精准的管理要求。为此，将指标管理平台与AI大模型相结合，成为了一种新的趋势。 本文 ...

文|作业帮大数据团队（阮文俊、孙建业） 背 景 基于 Apache DolphinScheduler （以下简称DolphinScheduler）搭建的 UDA 任务调度平台有效支撑了公司的业务数据开发需求，处理着日均百万级别的任务量。 整个 UDA 的架构如下图所示，其中我们的引擎层主要基于 Do ...

1、下载安装包 如果没安装wget，先安装一下wget yum install wget -y wget 获取网络资源 wget http://download.redis.io/releases/redis-6.2.6.tar.gz 2、解压到指定目录 tar -zxvf redis-6.2.6. ...

“只有决策快、公司运营快之后，公司才能实现降本增效”。 从北京到新疆、从中国到南非，从奥运会场馆的水泥混凝土到钱塘江畔拔地而起的高楼房产，无不存在着某大型国有集团的身影。 历经60多年沧桑巨变，该集团已发展成为以“新型绿色环保建材制造、贸易及服务，房地产开发经营、物业管理”为主业的市属大型国有控股产 ...

复杂事件处理（CEP）是一种对事件流进行分析的技术，它能够识别出数据流中的事件序列是否符合特定的模式，并允许用户对这些模式进行处理。Flink CEP 是 CEP 在 Apache Flink 中的具体实现，是 Apache Flink 的一个库，使用户可以在 Flink 的流处理引擎上进行复杂事件 ...

视频及PPT等相关资料：点击查看 讲师介绍 陶超权，博世智驾（中国）后端工程师，负责数据处理和数据调度方面工作，在智能驾驶数据处理领域具有丰富的实践经验。在2024年12月Apache DolphinScheduler社区线上交流会上上，他分享了Apache DolphinScheduler在智能驾 ...

如果你需要使用Apache SeaTunnel将MongoDB数据库的数据同步到Doris，你可以按照以下步骤进行操作。这些步骤基于Apache SeaTunnel的官方文档和社区提供的最佳实践： 一、环境准备 下载并安装SeaTunnel： 访问SeaTunnel的官方GitHub页面，下载最新稳 ...

1. 基本信息 数据质量管理：数据可靠性与数据质量问题解决之道 [美] 巴尔·摩西，[美] 利奥·加维什，[美] 莫莉· 著 机械工业出版社,2024年5月出版 1.1. 读薄率 书籍总字数18.8万字，笔记总字数61295字。 读薄率61295÷188000≈32.6% 1.2. 读厚方向 Dat ...

“数智基建+数智应用”赋能分享01期实录，该分享课件已上传至官网 ➡️课件下载：https://www.dtstack.com/resources/1084/?src=szsm 以下为本次分享的回顾： 一、实现企业级大数据平台的国产化数据替代 1、数据指数增长使企业发展陷入挑战 自21世纪以来，互联 ...