笔者使用SeaTunnel 2.3.2版本将Doris数据同步到Hive(cdh-6.3.2)首次运行时有如下报错，并附上报错的解决方案： java.lang.NoClassDefFoundError: org/apache/hadoop/hive/metastore/api/MetaExcepti ...

2024年5月15日，白鲸开源CEO郭炜在2024 DataOps发展大会上被正式聘任为DataOps专家，并获得了荣誉证书。本次大会由中国通信标准化协会主办，中关村科学城管委会提供支持，大数据技术标准推进委员会（CCSATC601）承办，旨在推动DataOps领域的标准化和实践发展。 在大会的圆桌 ...

指标设计是企业战略落地、经营决策支持和绩效评估的基础。在数字化转型的大背景下，准确有效的指标体系能够帮助企业快速响应市场变化，优化资源配置，提升运营效率。因此，科学合理的指标设计不仅是技术实现的问题，更是企业战略方向和业务逻辑的体现。 企业指标体系设计面临的典型困境 企业在构建指标体系的征途中，常遭 ...

转载自tuoluzhe8521 导读：通过简化复杂的任务依赖关系， DolphinScheduler为数据工程师提供了强大的工作流程管理和调度能力。在3.2.0版本中，DolphinScheduler带来了一系列新功能和改进，使其在生产环境中的稳定性和可用性得到了显著提升。 为了帮助读者更好地理解和 ...

近年来，新质生产力、数据要素及数据资产入表等新兴概念犹如一股强劲的浪潮，持续冲击并革新着企业数字化转型的观念视野，昭示着一个以数据为核心驱动力的新时代正稳步启幕。 面对这些引领经济转型的新兴概念，为了更好地服务于客户并提供切实可行的实践指导，自3月20日起，袋鼠云将推出全新《袋鼠云大数据实操指南》系 ...

引言 在数据驱动的世界中，企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器数据仓库的解耦方法。 Apache Dolph ...

在当今这个数字化时代，商业战场的硝烟从未如此浓烈。随着互联网红利的逐渐消退，公域流量的成本水涨船高，企业间对于有限用户资源的争夺已进入白热化阶段。每一次点击、每一个曝光背后，都是企业不得不承担的高昂代价。在此背景下，传统的依赖公域流量获取新客的模式正遭受前所未有的挑战，迫使企业不得不重新审视其营销策 ...

厦门建发弘爱医疗集团有限公司（简称“建发弘爱”）创立于2022年，是厦门建发医疗健康投资有限公司的全资子公司，专业从事医疗健康领域的医疗服务。 建发弘爱通过医疗、健康及产业服务三大板块，为百姓提供医疗和健康全生命周期解决方案。以医疗机构为核心，管理及运营弘爱医院（三级综合医院）、弘爱康复医院（三级专 ...

如果你还拥有着一张有效的“学生证”，在这个充满机遇的夏天，我们诚邀你加入一个充满挑战和机遇的开源冒险——开源之夏。 这不仅是一个简单的编程开发活动，假如你成功参加并结项之后，还能获得中科院软件所官方颁发的证书和奖金，简直太有趣啦！ Apache DolphinScheduler 社区作为全球性的大数 ...

关系代数与逻辑优化规则 作者: zhuwenzhuang, 2024.05.08. 阅读前假设读者熟悉数据库使用,了解 SQL 的语法和关系算子的大概含义, 能通过 EXPLAIN 命令查看数据库执行计划. 0 前言 数据库优化器的 查询优化(Query Optimization) 指在查询等价的前 ...

Apache DolphinScheduler 3.3.0版本终于要在万众期待中发布啦！本次发版将有重大功能更新，包括架构上的调整。 为了让广大用户提前尝鲜，社区特别准备了直播活动提前揭秘3.3.0版本中的重要更新，到时候你将会了解到这些信息： 3.3.0版本的工作流引擎改进 任务执行流程的优化 架 ...

各位热爱 DolphinScheduler 的小伙伴们，4 月份的 DolphinScheduler 社区月报更新啦！这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！ 月度 Merge 之星 感谢以下小伙伴 4 月为 Apache DolphinScheduler 所做的 ...

各位热爱 SeaTunnel 的小伙伴们，SeaTunnel 社区 4 月份月报来啦！这里将记录 SeaTunnel 社区每月的重要更新，欢迎关注！ 月度 Merge 之星 感谢以下小伙伴 4 月为 Apache SeaTunnel 做的精彩贡献（排名不分先后）： @TyrantLucifer,@s ...

大数据面试SQL每日一题系列：最高峰同时在线主播人数。字节，快手等大厂高频面试题 之后会不定期更新每日一题sql系列。 SQL面试题每日一题系列内容均来自于网络以及实际使用情况收集，如有雷同，纯属巧合。 1.题目 问题1：如下为某直播平台各主播的开播及关播时间数据明细，现在需要计算该平台最高峰期同时 ...

闭包引用 概念 所有编程语言都有闭包的概念，闭包就是在一个函数中引用了函数外的变量。 Spark中，普通的变量是在Driver程序中创建的，RDD的计算是在分布式集群中的task程序上进行的。因此，当分布式算子的函数引用了外部的变量时，Driver会把该变量序列化后通过网络发送给每一个task（只针 ...

前情提要：飞物作者屡次四级考试未能通过，进而恼羞成怒，制作了基于Hadoop实现的对历年四级单词的词频分析项目，希望督促自己尽快通过四级（然而并没有什么卵用） 项目需求：Pycharm、IDEA、Linux、Hadoop运行环境、Hive、beeline、八爪鱼采集器 数据来源：https://zh ...

经常有小伙伴和我咨询大数据怎么学，我觉得有必要写一下关于大数据开发的具体方向，下次就不用苦哈哈的打字回复了。直接回复文章。 1.大数据岗位划分 我们通常说的大数据开发主要分为三大方向： 1.1数据平台开发工程师 主要从事后端开发，结合Hadoop，flink，spark等做二次开发，基于底层框架开发 ...

SeaTunnel提供了一种运行Zeta引擎(cluster-mode)的方法，可以让Kubernetes在本地运行Zeta引擎，实现更高效的应用程序部署和管理。在本文中，我们将探索SeaTunnel k8s运行zeta引擎(cluster-mode模式)的更多信息，了解如何更好地利用Zeta引擎的 ...

随着大数据技术的快速发展，很多企业开始将Flink引入到生产环境中，以满足日益复杂的数据处理需求。而作为一款企业级的数据调度平台，Apache DolphinScheduler也跟上了时代步伐，推出了对Flink任务类型的支持。 Flink是一个开源的分布式流处理框架，具有高吞吐量、低延迟和准确性等 ...

要理解相关子查询和非相关子查询，我们得首先理解什么是子查询，子查询是指在一个查询语句中嵌套的另一个查询语句。 ...