摘要: 云原生数据库支持DCS一是为了DCS能够支持持久化能力,二是构建一站式的云数据库服务能力。DCS原来是一个share nothing的分布式集群,有自己的通信管理,集群管理和客户端。在云原生数据库中,DCS是作为一个组件集成到整个服务中,主要提供字符串(String)、哈希(Hash)、列表(Lis 阅读全文
posted @ 2024-10-29 15:35 MySQL成长之路 阅读(13) 评论(0) 推荐(0)
摘要: GaussDB数据库技术解读——分布式执行 分布式执行主要为分布式数据库提供一套完备的支撑数据跨节点交换,协同计算的计算框架,能够支撑位于不同地点的许多计算分片机通过网络互相连接,共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库,数据的分布式切片方式从大的分类上有3种: (1)Share 阅读全文
posted @ 2024-10-29 10:54 MySQL成长之路 阅读(35) 评论(0) 推荐(0)
摘要: GaussDB数据库技术解读——高性能关键技术 内容概要:本章节介绍GaussDB中实现的高性能关键技术,内容涉及优化器、执行器、分布式数据库、存储引擎等多个方面。 目的:通过对GaussDB数据库关键高性能技术的学习,能够让读者更加清晰的理解数据库内核哪些优化是性能关键点同时也为类似的应用系统实现 阅读全文
posted @ 2024-10-29 10:54 MySQL成长之路 阅读(10) 评论(0) 推荐(0)
摘要: GaussDB介绍 华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力,同时支持分布式事务,同城跨AZ部署,数据0丢失,支持1000+的扩展能力,PB级海量存储。同时拥有云上高可用,高可靠,高安全,弹性伸缩,一键部署,快速备份恢复,监控告警等关键能力,能为企业提供功能全面,稳 阅读全文
posted @ 2024-10-29 10:53 MySQL成长之路 阅读(14) 评论(0) 推荐(0)
摘要: ​ GaussDB Kernel V5 OM运维管理关键模块如下。 OM 运维主要功能有: 安装 升级 节点替换 扩容、缩容 自动告警 巡检 备份恢复、容灾 日志分析系统 在华为云的部署模式下,OM相关组件部署示意图如下: 图7 华为云OM运维管理 用户登录华为云Console,访问GaussDB 阅读全文
posted @ 2024-10-29 10:53 MySQL成长之路 阅读(17) 评论(0) 推荐(0)
摘要: GaussDB Kernel V5 集群管理层关键模块如下。 图4 集群管理层组件设计图 CM 组件提供了四种服务 CM Agent, CM Server, OM Monitor, cm_ctl,与各类实例服务组件(CN, DN, GTM 等)一起构成了整个数据库集群系统。 cm_ctl 通过命令行 阅读全文
posted @ 2024-10-29 10:53 MySQL成长之路 阅读(28) 评论(0) 推荐(0)
摘要: GTM 仅处理全局时间戳请求, 64位CSN递增,几乎都是CPU ++和消息收发操作。不是每次都写ETCD, 而是采用定期持久化到ETCD 里, 每次写ETCD的CSN要加上一个backup_step (100w), 一旦GTM故障,CSN从ETCD读取出来的值保证单调递增。当前GTM 只完成CSN 阅读全文
posted @ 2024-10-29 10:53 MySQL成长之路 阅读(23) 评论(0) 推荐(0)
摘要: 数据持久化存取层(DataNode)关键技术方案 Datanode节点主要负责数据的持久化和快速写入、读取。数据持久化采用物理日志wal,事务提交wal刷盘, 对外提供逻辑日志功能,反解析物理日志为SQL逻辑日志。 图1 datanode数据持久化 Astore:存储格式为追加写优化设计,其多版本元 阅读全文
posted @ 2024-10-29 10:52 MySQL成长之路 阅读(20) 评论(0) 推荐(0)
摘要: 华为 GaussDB 是一个企业级 AI-Native 分布式数据库。GaussDB 采用 MPP(Massive Parallel Processing)架构,支持行存储与列存储,提供 PB(Petabyte,2 的 50 次方字节)级别数据量的处理能力。 华为Gauss数据库是全球首款AI-Na 阅读全文
posted @ 2024-10-29 10:52 MySQL成长之路 阅读(20) 评论(0) 推荐(0)
摘要: 一、背景 GaussDB 是一款由华为开发的企业级分布式数据库,具有高性能、高可用、高可靠性等特点,广泛应用于各种业务场景。本指南将介绍如何在 GaussDB 中创建数据库和数据表,修改表结构,并添加约束。 二、创建数据库和数据表 创建数据库 在 GaussDB 中创建数据库可以使用 CREATE 阅读全文
posted @ 2024-10-29 10:52 MySQL成长之路 阅读(58) 评论(0) 推荐(0)
摘要: 华为GaussDB数据库包括:事务性(OLTP)数据库、分析型(OLAP)数据库和混合负载(HTAP)数据库。这里需要解释下OLTP、OLAP、HTAP之间的区别,这也是数据库最基本的内容。 据库系统一般分为两种类型:一种是面向前台应用的,应用比较简单,但是重吞吐和高并发的OLTP类型;一种是重计算 阅读全文
posted @ 2024-10-29 10:52 MySQL成长之路 阅读(58) 评论(0) 推荐(0)
摘要: 一 、前言 传统的数据库管理软件,不仅需要下载安装、功能还比较单一,而且已经滞后于云服务的发展模式。华为GaussDB云数据库提供了配套的生态工具数据管理服务DAS。 DAS通过与数据库内核的紧密结合,提供了数据库开发、运维、智能诊断一站式云上数据库管理平台,方便用户使用和运维华为云数据库。 二、D 阅读全文
posted @ 2024-10-29 09:54 MySQL成长之路 阅读(25) 评论(0) 推荐(0)
摘要: 问题描述 CPU使用率高。 问题现象 出现CPU使用率超过阈值,CPU使用率快速上涨或短时间持续较高水平等现象。 告警 CPU使用率告警。 业务影响 CPU使用率高集群响应变慢。 原因分析 期间业务压力增大导致。 出现CPU耗时较多的SQL。 处理方法 步骤 1 查看监控是某个节点的CPU高还是集群 阅读全文
posted @ 2024-10-29 09:53 MySQL成长之路 阅读(17) 评论(0) 推荐(0)
摘要: 一、前言 行存表和列存表是数据库中两种常见的数据存储方式。随着信息技术的飞速发展,数据存储和管理以及如何高效地存储和处理大量的数据已经成为了我们的一大挑战。 为了解决这个问题,行存表与列存表应运而生,它们以其独特的优势在各个场景得到了高效的应用。GaussDB支持行、列存储,本文将简单给大家介绍一下 阅读全文
posted @ 2024-10-29 09:53 MySQL成长之路 阅读(42) 评论(0) 推荐(0)
摘要: 问题描述 CPU利用率是衡量系统负载和健康度的重要指标之一,系统在运行过程中时常发生CPU利用率高的情况。在分析性能问题时,可通过火焰图查看CPU耗时,了解瓶颈在哪里。 问题现象 部分sql执行速度不符合预期。 告警 慢sql告警。 cpu使用率高告警。 数据库整体运行慢。 业务影响 业务性能差。 阅读全文
posted @ 2024-10-29 09:53 MySQL成长之路 阅读(15) 评论(0) 推荐(0)
摘要: ​ 一、引言 事务管理是数据库系统中至关重要的一部分,它确保了数据库的一致性和可靠性。在GaussDB数据库中,事务管理不仅遵循传统的ACID特性,还提供了一些高级功能。本文将深入探讨GaussDB数据库事务管理的各个方面。 二、事务的基本概念 2.1 事务的定义 事务是数据库操作的基本单元,它是一 阅读全文
posted @ 2024-10-29 09:53 MySQL成长之路 阅读(17) 评论(0) 推荐(0)
摘要: 万物互联的态势下,数据量的激增使得“如何提升数据处理性能”成为各家数据库共同面临的挑战。作为编译优化技术的代表,基于LLVM的CodeGen技术,能为每个查询生成定制的机器码替代原本的通用函数,减少实际查询时冗余的条件逻辑判断、虚函数调用并提高数据局域性,从而达到提升查询整体性能的目的,成为数据库性 阅读全文
posted @ 2024-10-29 09:51 MySQL成长之路 阅读(23) 评论(0) 推荐(0)
摘要: ​ D-SMART高斯专版已经开发了几个月了,目前主要技术问题都已经解决,也能够初步看到大概的面貌了。有朋友问我,GaussDB不已经有了TPOPS了,为什么你们还要开发D-SMART高斯专版呢? 实际上TPOPS和D-SMART虽然都可以用于Gaussdb的运维监控,不过其分工还是十分明显的。TP 阅读全文
posted @ 2024-10-29 09:51 MySQL成长之路 阅读(6) 评论(0) 推荐(0)
摘要: ​ 背景 对数据库集群内资源管控与资源隔离一直是企业客户长久以来的诉求。华为云GaussDB作为一款企业级分布式数据库,一直致力于满足企业对大型数据库集群的管理需要。 数据库可以管理的资源有计算资源与存储资源,计算资源包括CPU、内存、IO与网络,存储资源包括数据存储空间、日志存储空间与临时文件等。 阅读全文
posted @ 2024-10-29 09:29 MySQL成长之路 阅读(29) 评论(0) 推荐(0)
摘要: ​ 最近看到一篇《我说MySQL每张表最好不要超过2000万数据,面试官让我回去等通知》的文章,非常有趣。 文中提到,他朋友在面试的过程中说,自己的工作就是把用户操作信息存到MySQL里,因为数据量超大(5000万条左右),需要每天定时生成3张表,然后将数据取模分别存到这三张表里。 下面是两人的对话 阅读全文
posted @ 2024-10-29 09:28 MySQL成长之路 阅读(25) 评论(0) 推荐(0)