背景 近年来随着国际形势的变化，信创产业成为我国国家战略的一部分。一直以来，一直以来，全球 ICT 产业底层标准、架构、产品、生态等要素均由国外公司或机构制定和控制，使我国 ICT 产业乃至广大用户面临被卡脖子、数据泄露、信息安全等诸多风险，尤其是 2018年以来，中兴、华为等公司的遭遇成为鲜活的实 ...

放眼全球，数据作为一种新兴生产要素，在全球经贸活动中扮演着至关重要的角色，驱动着数字经济的蓬勃兴起。据前瞻预测，至2025年，全球数据流动对整体经济增长的贡献预估将达到惊人的11万亿美元。 近几年国家对数据要素关注度不断上升。2023年12月31日，国家数据局等17部门联合印发《“数据要素×”三年行 ...

在用Apache SeaTunnel研发SM2加密组件过程中，发现社区关于本地调试SeaTunnel文章过于简单，很多情况没有说明，于是根据自己遇到问题总结这篇文档。SeaTunnel本地调试官方文档，希望对大家有所帮助！ 使用的引擎为Flink(不需要下载，SeaTunnel中有加载依赖),输入输 ...

前言 本文记录 ES 的一些基本操作，就是对官方文档的一些整理，按自己的习惯重新排版，凑合着看。官方的更详细，建议看官方的。 下文以 books 为索引名举例。 新增 添加单个文档 (没有索引会自动创建) POST books/_doc {"name": "Snow Crash", "author" ...

近年来，新质生产力、数据要素及数据资产入表等新兴概念犹如一股强劲的浪潮，持续冲击并革新着企业数字化转型的观念视野，昭示着一个以数据为核心驱动力的新时代正稳步启幕。 面对这些引领经济转型的新兴概念，为了更好地服务于客户并提供切实可行的实践指导，自3月20日起，袋鼠云将推出全新《袋鼠云大数据实操指南》系 ...

前言 写这篇东西，是因为官方文档看着太痛苦，于是乎想用大白话来聊聊 ElasticSearc (下面都简称ES)。所以下文对于 ES 一些概念的表述可能会与官方有出入，所以需要准确的表述和详细定义的，请跳转官方文档。我也尽量贴上官方的链接。 前置知识：因为下文会使用 mysql 的一些概念来描述，所 ...

我司使用Apache DolphinScheduler作为调度框架很久了，感兴趣的小伙伴可以看看这些干货文章： 因为之前监控到会出现重复的调度的问题，所以此文记录排查重复调度问题的全过程，希望对社区其他的小伙伴能够起到抛砖引玉的作用！ 注：本文使用的DolphinScheduler 3.1.1的版本 ...

正处于企业指标建设过程中的你，是否经常遇到这样的问题： • 各个部门独立建设信息系统，由此产生的指标定义和计算方式各异，导致管理层无法快速准确地掌握整体业务运行状况 • 缺乏对指标的统一管理和规范，产生重复的指标计算工作，导致数据计算资源被过度消耗，增加运维成本和数据处理压力 • 不知道指标体系建设 ...

集群部署方案(2 Master + 3 Worker) Apache DolphinScheduler官网：https://dolphinscheduler.apache.org/zh-cn Apache DolphinScheduler使用文档：https://dolphinscheduler.a ...

随着大数据技术的演进和信息安全性需求的提升，数据规模的持续扩张为数据运维工作带来了严峻考验。面对海量数据所形成的繁重管理压力，运维人员面临效率瓶颈，而不断攀升的人力成本也使得单纯依赖扩充运维团队来解决问题变得不再实际可行。 由此可见，智能化与高效便捷是运维发展的必然方向。袋鼠云所推出的巡检报告功能， ...

金融业务产品授信准入、交易营销等环节存在广泛的风控诉求，随着业务种类增多，传统的专家规则、评分卡模型难以应付日趋复杂的风控场景。 在传统风控以专家规则系统为主流应用的语境下，规则模型的入参习惯被称为“变量”。基于专家规则的风险评估，存在规则触发阈值难量化的特点，规则命中精准度提升存在瓶颈。 随着机器 ...

CloudCanal 最近对于全周期数据流动进行了初步探索，打通了 Hive 目标端的实时同步，为实时数仓的构建提供了支持，这篇文章简要做下分享。 ...

指标是什么？ 业务发展过程中，企业内外部都会产生很多的业务数据，对这些数据进行采集、计算、落库、分析后，形成的统计结果称为指标。简单来说，指标是业务被拆解、量化后形成的数量特征，企业利用数据指标对业务进行精准的号脉，实现对业务的科学管理和有效优化。 在我们对多家企业展开深入调研的过程中，发现数据指标 ...

在大数据处理领域，Apache SeaTunnel 已成为一款备受青睐的开源数据集成平台，它不仅可以基于Apache Spark和Flink，而且还有社区单独开发专属数据集成的Zeta引擎，提供了强大的数据处理能力。随着SeaTunnel Web的推出，用户界面(UI)操作变得更加友好，项目部署和管 ...

北京白鲸开源科技有限公司（以下简称“白鲸开源”）今日宣布，其旗舰产品WhaleStudio套件已与瀚高基础软件股份有限公司（以下简称“瀚高软件”）旗下的IvorySQL数据库管理系统V3.0完成深度兼容性认证。此次合作标志着两家领军企业在数据管理领域的紧密联合，为用户提供更加稳定、高效的数据处理解决 ...

非常欢迎大家来到Apache DolphinScheduler社区！随着开源技术在全球范围内的快速发展，社区的贡献者 “同仁” 一直致力于构建一个强大而活跃的开源调度系统社区，为用户提供高效、可靠的任务调度和工作流管理解决方案。 在过去的一段时间里，我们取得了一些重要的成就，但我们的愿景远未实现。为 ...

欢迎阅读袋鼠云09期产品功能更新报告。在此期报告中，我们秉持创新与优化并重的理念，对产品进行了深度打磨与全面升级。每一处细节的改进，都是我们对卓越品质的不懈追求，期待这些新功能能助力您的业务运营与发展，让数字化转型之路更加畅通无阻。 以下为袋鼠云产品功能更新报告09期内容，更多探索，请继续阅读。 离 ...

近期，Apache DolphinScheduler 社区激动地宣布 3.2.1 版本的发布。此次更新不仅着力解决了前一版本（3.2.0）中遗留的问题，而且引入了一系列的功能增强和优化措施。 原先的问题主要源于部分重要代码在发布过程中未能成功合并（cherry-pick），加之这部分代码的合并过程较 ...

前言： 大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择Apache DolphinScheduler（以下简称DS）作为调度场景的技术选型。得益于DS优秀的特性，在对数仓任务做运维和管理的时候，往往比较随意，或将所有任务节点写到一个工作流里，或将每个逻辑节 ...

背景 看到Apache DolphinScheduler社区群有很多用户反馈和讨论这块问题，针对不兼容的问题，不仅需要自己重新编译各一个新包，而且因为默认是使用zk-3.8的配置，所以会出现不兼容问题。使用zk-3.4配置即可适配3.4.x 解决办法（一） 切换到项目源码的根路径中执行 mvn cl ...