4月10日，以“Data+AI，构建新质生产力”为主题的袋鼠云春季发布会圆满落幕。大会中，袋鼠云带来了一系列“+AI”的数字化产品与最新行业沉淀，旨在将数据与AI紧密结合，打破传统的生产力边界，赋能企业实现更高质量、更高效率的数字化发展。 2部白皮书：聚焦行业沉淀 《行业指标体系白皮书》：系统阐述了 ...

很高兴和大家宣布，Apache DolphinScheduler 社区今年再次成功入选入选由中国科学院软件研究所开源软件供应链点亮计划发起的“开源之夏”活动。 入选公示链接：https://mp.weixin.qq.com/s/9ExBWGoFPzZ0_SrpAcosZg 此活动旨在鼓励和引导在校学 ...

在日新月异的数字化经济时代，企业和组织不断寻求利用先进技术构建自身的核心竞争力。其中，大数据与AI的深度融合正在成为推动企业实现新质生产力的关键路径。 在此背景下，袋鼠云举办春季发布会，以“Data+AI，构建新质生产力”为主题，旨在深度探讨如何将数据与AI紧密结合，以期打破传统的生产力边界，赋能企 ...

1.综述 Hive的聚合函数衍生的窗口函数在我们进行数据处理和数据分析过程中起到了很大的作用 在Hive中，窗口函数允许你在结果集的行上进行计算，这些计算不会影响你查询的结果集的行数。 Hive提供的窗口和分析函数可以分为聚合函数类窗口函数，分组排序类窗口函数，偏移量计算类窗口函数。 本节主要介绍聚 ...

第4章 Hadoop文件参数配置 实验一：hadoop 全分布配置 1.1 实验目的 完成本实验，您应该能够： 掌握 hadoop 全分布的配置 掌握 hadoop 全分布的安装 掌握 hadoop 配置文件的参数意义 1.2 实验要求 熟悉 hadoop 全分布的安装 了解 hadoop 配置文件 ...

本文分享自华为云社区《GaussDB DWS的SQL ON ANYWHERE技术解密》，作者：tooooooooooomy。 1. 前言 适用版本：【8.1.1（及以上）】 查询分析是大数据要解决的核心问题之一，虽然大数据相关的处理引擎组件种类繁多，并提供了丰富的接口供用户使用，但相对传统数据库用户 ...

Apache DolphinScheduler已支持Apache SeaTunnel任务类型，本文介绍了SeaTunnel任务类型如何创建，任务参数，以及任务样例。 一、Apache SeaTunnel SeaTunnel 任务类型，用于创建并执行 SeaTunnel 类型任务。worker 执行该 ...

作者 | ALIREZA SADEGHI 翻译 | Debra Chen 简介 虽然生成式人工智能和ChatGPT带来的沸沸扬扬的炒作令科技界为之一振，但在数据工程领域，2023年仍然是一个令人振奋和充满活力的一年，数据工程生态系统变得更加多样化和复杂化，系统中的所有层面都在不断创新和演进。 随着各 ...

作者 | Shawn Gordon 翻译 | Debra Chen 原文链接 | What the Heck is Apache SeaTunnel? 我在2023年初开始注意到Apache SeaTunnel的相关讨论，一直低调地关注着。该项目始于2017年，最初名为Waterdrop，在Apac ...

在金融行业数字化转型背景下，银行等金融机构面临着业务模式创新与数据应用的深度融合。业务上所需要的不再是单纯的数据，而是数据背后映射的业务趋势洞察，只有和业务相结合转化为业务度量指标，经过数据分析处理呈现为报表进行展示，才能真正体现它们的价值。 但在需求转化为指标的过程中，存在需求管理杂乱、登记维护难 ...

企业搭建完善、全面的指标体系是企业用数据指导业务经营决策的第一步。但是做完指标之后，对指标的监控，经常被大家忽视。当指标发生了异常波动（上升或下降），需要企业能够及时发现，并快速找到背后真实的原因，才能针对性地制定相应策略，否则就是盲打，原地打转。 指标异常波动的具体场景，比如： · 企业关键词的搜 ...

升级背景 因项目需要使用数据质量模块功能，可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上，此次选择测试了3.0.1 和 3.1.1 两个版本，对进行同数据等任务调度暂停等操作测试，最后选择3.0.1 版本 原因： 1. 3.1.1 在测试sql任务时 ，同时启动上百s ...

背景 某些时候，kafka上游生产者生产的消息有错误，或者下游消费者并不需要消费某部分的数据，这时候，通常有两个解决方案，一种是对数据做不解析处理，直接略过。另一种就是暂时关掉kafka的消费者组，等到生产者正常后再进行消费，但由于kafka本身是默认断点续传的，此时就需要我们先重置kafka中当前 ...

背景 近年来随着国际形势的变化，信创产业成为我国国家战略的一部分。一直以来，一直以来，全球 ICT 产业底层标准、架构、产品、生态等要素均由国外公司或机构制定和控制，使我国 ICT 产业乃至广大用户面临被卡脖子、数据泄露、信息安全等诸多风险，尤其是 2018年以来，中兴、华为等公司的遭遇成为鲜活的实 ...

放眼全球，数据作为一种新兴生产要素，在全球经贸活动中扮演着至关重要的角色，驱动着数字经济的蓬勃兴起。据前瞻预测，至2025年，全球数据流动对整体经济增长的贡献预估将达到惊人的11万亿美元。 近几年国家对数据要素关注度不断上升。2023年12月31日，国家数据局等17部门联合印发《“数据要素×”三年行 ...

在用Apache SeaTunnel研发SM2加密组件过程中，发现社区关于本地调试SeaTunnel文章过于简单，很多情况没有说明，于是根据自己遇到问题总结这篇文档。SeaTunnel本地调试官方文档，希望对大家有所帮助！ 使用的引擎为Flink(不需要下载，SeaTunnel中有加载依赖),输入输 ...

前言 本文记录 ES 的一些基本操作，就是对官方文档的一些整理，按自己的习惯重新排版，凑合着看。官方的更详细，建议看官方的。 下文以 books 为索引名举例。 新增 添加单个文档 (没有索引会自动创建) POST books/_doc {"name": "Snow Crash", "author" ...

近年来，新质生产力、数据要素及数据资产入表等新兴概念犹如一股强劲的浪潮，持续冲击并革新着企业数字化转型的观念视野，昭示着一个以数据为核心驱动力的新时代正稳步启幕。 面对这些引领经济转型的新兴概念，为了更好地服务于客户并提供切实可行的实践指导，自3月20日起，袋鼠云将推出全新《袋鼠云大数据实操指南》系 ...

前言 写这篇东西，是因为官方文档看着太痛苦，于是乎想用大白话来聊聊 ElasticSearc (下面都简称ES)。所以下文对于 ES 一些概念的表述可能会与官方有出入，所以需要准确的表述和详细定义的，请跳转官方文档。我也尽量贴上官方的链接。 前置知识：因为下文会使用 mysql 的一些概念来描述，所 ...

我司使用Apache DolphinScheduler作为调度框架很久了，感兴趣的小伙伴可以看看这些干货文章： 因为之前监控到会出现重复的调度的问题，所以此文记录排查重复调度问题的全过程，希望对社区其他的小伙伴能够起到抛砖引玉的作用！ 注：本文使用的DolphinScheduler 3.1.1的版本 ...