数据库 大数据
刷新
聊聊流式数据湖Paimon(三)

博主头像 概述 如果表没有定义主键，则默认情况下它是仅追加 表类型(Append Only Table)。 根据桶(Bucket)的定义，我们有两种不同的仅追加模式："Append For Scalable Table"和"Append For Queue"；两种模式支持不同的场景，提供不同的功能。 只能向表 ...

聊聊流式数据湖Paimon(二)

博主头像 当前的问题 Apache Paimon 最典型的场景是解决了 CDC (Change Data Capture) 数据的入湖；CDC 数据来自数据库。一般来说，分析需求是不会直接查询数据库的。 容易对业务造成影响，一般分析需求会查询全表，这可能导致数据库负载过高，影响业务 分析性能不太好，业务数据库 ...

数仓调优实践丨SQL改写消除相关子查询

博主头像 本文分享自华为云社区《【调优实践】SQL改写消除相关子查询》，作者： 门前一棵葡萄树 。 一、子查询 GaussDB(DWS)根据子查询在SQL语句中的位置把子查询分成了子查询、子链接两种形式。 子查询SubQuery：对应于查询解析树中的范围表RangeTblEntry，更通俗一些指的是出现在FR ...

聊聊流式数据湖Paimon(一)

博主头像 翻译自 Apache Paimon官方文档 概览 概述 Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。 简单来说，Paimon的上游是各个CDC，即changlog数据流；而其自身支持实时sink与s ...

HBase Shell操作&Flink写入HBase

博主头像 一、HBase Shell操作 1、基本操作 1）进入HBase客户端命令行 [root@bigdata1 hbase]$ bin/hbase shell 2）查看帮助命令 hbase(main):001:0> help 3）查看当前数据库中有哪些表 hbase(main):002:0> list ...

聊聊Flink必知必会(七)

博主头像 What is State 虽然数据流中的许多操作一次只查看一个单独的事件（例如事件解析器），但某些操作会记住多个事件的信息（例如窗口算子）。 这些操作称为有状态的(stateful)。 有状态操作的一些示例： 当应用程序搜索某些事件模式(event patterns)时，状态(state)将存储迄 ...

聊聊Flink必知必会(六)

博主头像 Flink是一个分布式系统，需要有效地分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，如Hadoop YARN和Kubernetes，但也可以设置为作为一个独立的集群运行，甚至作为一个库。 Flink集群的剖析 Flink运行时由两种类型的进程组成:一个JobManager和 ...

实时湖仓技术选型，企业如何借实时湖仓赢在“数据驱动”时代

博主头像 在之前三期的实时湖仓系列文章中，我们从业务侧、产品侧、应用侧等几个方向，为大家介绍了实时湖仓方方面面的内容，包括实时湖仓对于企业数字化布局的重要性以及如何进行实时湖仓的落地实践等。 本文将从纯技术的角度，为大家解析实时湖仓的存储原理以及生态选型，为企业建设实时湖仓给出技术方面的参考意见。 实时湖仓能 ...

直播预约丨《实时湖仓实践五讲》第五讲：实时湖仓领域的最佳实践解析

博主头像 如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据平台，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战，湖仓一体方案应运而生。 《实时湖仓实践五讲》是袋鼠云打造的系列直播活动，将围绕实时湖仓的建设趋势和通用问题，邀请奋战于企业数字化一线的核心产品&技术专家 ...

FQS：一种神奇的数仓查询优化技术

博主头像 本文分享自华为云社区《根据执行计划优化SQL【绽放吧！GaussDB(DWS)云原生数仓】》，作者：西岭雪山。 引言 如果您刚接触DWS那一定会好奇想要知道"REMOTE_FQS_QUERY" 到底代表什么意思？我们看官网的描述是代表这执行计划已经CN直接将原语句下发到DN，各DN单独执行，并将执行 ...

企业如何通过熔断降级增强服务稳定性和系统可用性？

博主头像 API 的调用稳定性被视为数据服务的最重要的指标。该指标的影响因素是多种多样的，「袋鼠云数据服务平台 DataAPI」不仅多次对于调用性能和稳定性进行压测和调优，而且还提供了多种配置项优化手段供客户进行自行调优。但是当遇到不可预期的大流量或其他突然情况时还是会遇到 API 调用失败的情况。 当随着流 ...

<1···567···20>