摘要: MOT数据采集速度 该测试模拟海量物联网、云端或移动端接入的实时数据流,快速持续地把海量数据注入到数据库。 本次测试涉及大量数据采集,具体如下: 1000万行数据由500个线程发送,2000轮,每个insert命令有10条记录(行),每条记录占200字节。 客户端和数据库位于不同的机器上。 数据库服 阅读全文
posted @ 2024-06-24 17:44 techbing 阅读(7) 评论(0) 推荐(0)
摘要: MOT索引 MOT索引基于最先进的Masstree[对比:磁盘与MOT]的免锁索引,用于多核系统的快速和可扩展的键值(KV)存储,通过B+树的Trie实现。在多核服务器和高并发工作负载上,性能优异。它使用各种先进的技术,如乐观锁方法、缓存感知和内存预取。 在比较了各种最先进的解决方案(如[对比:磁盘 阅读全文
posted @ 2024-06-24 17:44 techbing 阅读(42) 评论(0) 推荐(0)
摘要: MOT特性及价值 MOT在高性能(查询和事务延迟)、高可扩展性(吞吐量和并发量)甚至在某些情况下成本(高资源利用率)这些方面拥有显著优势。 低延迟(Low Latency):提供快速的查询和事务响应时间。 高吞吐量(High Throughput):支持峰值和持续高用户并发。 高资源利用率(High 阅读全文
posted @ 2024-06-24 17:44 techbing 阅读(22) 评论(0) 推荐(0)
摘要: MOT统计 统计信息主要用于性能分析或调试。在生产环境中,通常不打开它们(默认是关闭的)。统计信息主要由数据库开发人员使用,数据库用户较少使用。 对性能有一定影响,特别是对服务器。对用户的影响可以忽略不计。 统计信息保存在数据库服务器日志中。该日志位于data文件夹中,命名为postgresql-D 阅读全文
posted @ 2024-06-24 17:43 techbing 阅读(15) 评论(0) 推荐(0)
摘要: MOT外部支持工具 为了支持MOT,修改了以下外部openGauss工具。请确保使用的工具是最新版本。下面将介绍与MOT相关的用法。有关这些工具及其使用方法的完整说明,请参阅《工具与命令参考》。 gs_ctl(全量和增量) 此工具用于从主服务器创建备服务器,以及当服务器的时间线偏离后,将服务器与其副 阅读全文
posted @ 2024-06-24 17:43 techbing 阅读(20) 评论(0) 推荐(0)
摘要: MOT性能基准 我们的性能测试是基于业界和学术界通用的TPC-C基准。 测试使用了BenchmarkSQL(请参见MOT样例TPC-C基准),并且使用交互式SQL命令而不是存储过程来生成工作负载。 说明: 使用存储过程方法可能会产生更高的性能结果,因为它需要大大减少网络往返和数据库封装SQL处理周期 阅读全文
posted @ 2024-06-24 17:42 techbing 阅读(14) 评论(0) 推荐(0)
摘要: MOT样例TPC-C基准 TPC-C简介 TPC-C基准是衡量联机事务处理(OLTP)系统性能的行业标准基准。它基于一个复杂的数据库和许多不同的事务类型。这些事务类型在此基准上执行。TPC-C基准测试既不依赖硬件,也不依赖软件,因此可以在每个测试平台上运行。基准模型的官方概述,见tpc.org网站( 阅读全文
posted @ 2024-06-24 17:35 techbing 阅读(47) 评论(0) 推荐(0)
摘要: MOT应用场景 MOT可以根据负载的特点,显著加快应用程序的整体性能。MOT通过提高数据访问和事务执行的效率,并通过消除并发执行事务之间的锁和锁存争用,最大程度地减少重定向,从而提高了事务处理的性能。 MOT的极速不仅因为它在内存中,还因为它围绕并发内存使用管理进行了优化。数据存储、访问和处理算法从 阅读全文
posted @ 2024-06-24 17:35 techbing 阅读(53) 评论(0) 推荐(0)
摘要: MOT硬件 本次测试使用的服务器满足10GbE组网和以下配置: 基于Arm64/鲲鹏920的2路服务器,型号为TaiShan 2280 v2(128核),800GB RAM,1TB NVMe盘。操作系统为openEuler。 基于Arm64/鲲鹏960的4路服务器,型号为TaiShan 2480 v 阅读全文
posted @ 2024-06-24 17:34 techbing 阅读(26) 评论(0) 推荐(0)
摘要: MOT准备 下文介绍了使用MOT的前提条件以及内存和存储规划。 前提条件 MOT内存和存储规划 详情查看:https://opengauss.org 详情查看:https://docs-opengauss.osinfra.cn 阅读全文
posted @ 2024-06-24 16:48 techbing 阅读(12) 评论(0) 推荐(0)
摘要: MOT资源利用率 在4路96核512GB RAM的x86服务器上测试的资源利用率如下所示。MOT能够高效持续消耗几乎所有可用的CPU资源。例如,192核390万tpmC的CPU利用率几乎达到100%。 tmpC:每分钟完成的TPC-C事务数以橙色条柱和左侧的Y轴 tpmC 表示。 CPU利用率(%) 阅读全文
posted @ 2024-06-24 16:47 techbing 阅读(26) 评论(0) 推荐(0)
摘要: MOT纵向扩容架构 纵向扩容即为同一台机器添加额外的核以增加算力。纵向扩容是传统上为单对控制器和多核的机器增加算力的常见形式。纵向扩容架构受限于控制器的可扩展性。 技术要求 MOT旨在实现以下目标: 线性扩容:MOT提供事务性存储引擎,利用单个NUMA架构服务器的所有核,以提供近线性的扩容性能。这意 阅读全文
posted @ 2024-06-24 16:46 techbing 阅读(34) 评论(0) 推荐(0)
摘要: mysql_fdw mysql_fdw是一款开源插件。openGauss基于开源的mysql_fdw Release 2.5.3 版本进行开发适配。 编译和使用mysql_fdw需要环境上包含MariaDB的开发包,所以openGauss默认不编译mysql_fdw,下面依次介绍如何编译和使用mys 阅读全文
posted @ 2024-06-24 16:46 techbing 阅读(69) 评论(0) 推荐(0)
摘要: NUMA-aware分配和亲和性 非统一内存访问(NUMA)是一种计算机内存设计,用于多重处理,其中内存访问时间取决于内存相对于处理器的位置。处理器可以利用NUMA的优势,优先访问本地内存(速度更快),而不是访问非本地内存(这意味着它不会访问另一个处理器的本地内存或处理器之间共享的内存)。 MOT内 阅读全文
posted @ 2024-06-24 16:45 techbing 阅读(66) 评论(0) 推荐(0)
摘要: Schema Schema又称作模式。通过管理Schema,允许多个用户使用同一数据库而不相互干扰,可以将数据库对象组织成易于管理的逻辑组,同时便于将第三方应用添加到相应的Schema下而不引起冲突。 每个数据库包含一个或多个Schema。数据库中的每个Schema包含表和其他类型的对象。数据库创建 阅读全文
posted @ 2024-06-24 16:45 techbing 阅读(57) 评论(0) 推荐(0)
摘要: SSL证书管理 openGauss默认配置了通过openssl生成的安全证书、私钥。并且提供证书替换的接口,方便用户进行证书的替换。 证书生成-TLS 证书生成-TLCP 证书替换 主备证书认证配置 详情查看:https://opengauss.org 详情查看:https://docs-openg 阅读全文
posted @ 2024-06-24 16:45 techbing 阅读(31) 评论(0) 推荐(0)
摘要: 参数设置 openGauss提供了多种修改GUC参数的方法,用户可以方便的针对数据库、用户、会话进行设置。 参数名称不区分大小写。 参数取值有整型、浮点型、字符串、布尔型和枚举型五类。 布尔值可以是(on,off)、(true,false)、(yes,no)或者(1,0),且不区分大小写。 枚举类型 阅读全文
posted @ 2024-06-24 16:44 techbing 阅读(233) 评论(0) 推荐(0)
摘要: 查看参数值 openGauss安装后,有一套默认的运行参数,为了使openGauss与业务的配合度更高,用户需要根据业务场景和数据量的大小进行GUC参数调整。 操作步骤 以操作系统用户omm登录数据库主节点。 使用如下命令连接数据库。 gsql -d postgres -p 8000 postgre 阅读全文
posted @ 2024-06-24 16:40 techbing 阅读(110) 评论(0) 推荐(0)
摘要: 查看审计结果 前提条件 审计功能总开关已开启。 需要审计的审计项开关已开启。 数据库正常运行,并且对数据库执行了一系列增、删、改、查操作,保证在查询时段内有审计结果产生。 数据库各个节点审计日志单独记录。 背景信息 只有拥有AUDITADMIN属性的用户才可以查看审计记录。有关数据库用户及创建用户的 阅读全文
posted @ 2024-06-24 16:40 techbing 阅读(73) 评论(0) 推荐(0)
摘要: 查看数据 使用系统表pg_tables查询数据库所有表的信息。 openGauss=# SELECT * FROM pg_tables; 使用gsql的\d+命令查询表的属性。 openGauss=# \d+ customer_t1; 执行如下命令查询表customer_t1的数据量。 openGa 阅读全文
posted @ 2024-06-24 16:33 techbing 阅读(130) 评论(0) 推荐(0)
摘要: 查看数据库连接数 背景信息 当用户连接数达到上限后,无法建立新的连接。因此,当数据库管理员发现某用户无法连接到数据库时,需要查看是否连接数达到了上限。控制数据库连接的主要以下几种选项。 全局的最大连接数:由运行参数max_connections指定。 某用户的连接数:在创建用户时由CREATE RO 阅读全文
posted @ 2024-06-24 16:32 techbing 阅读(141) 评论(0) 推荐(0)
摘要: 查看账本历史操作记录 前提条件 系统中需要有审计管理员或者具有审计管理员权限的角色。 数据库正常运行,并且对防篡改数据库执行了一系列增、删、改等操作,保证在查询时段内有账本操作记录结果产生。 背景信息 只有拥有AUDITADMIN属性的用户才可以查看账本历史操作记录。有关数据库用户及创建用户的办法请 阅读全文
posted @ 2024-06-24 16:32 techbing 阅读(64) 评论(0) 推荐(0)
摘要: 查询原生编译 MOT的另一个特性是,在预编译的完整查询需要执行之前,能够以原生格式(使用PREPARE语句)准备并解析这些查询。 这种原生格式方便后续更有效地执行(使用EXECUTE命令)。这种执行类型速度要快得多,因为原生格式在执行期间绕过多个数据库处理层,从而获得更好地性能。 这种分工避免了重复 阅读全文
posted @ 2024-06-24 16:32 techbing 阅读(18) 评论(0) 推荐(0)
摘要: 创建表 背景信息 表是建立在数据库中的,在不同的数据库中可以存放相同的表。甚至可以通过使用模式在同一个数据库中创建相同名称的表。创建表前请先规划存储模型。 创建表 执行如下命令创建表。 openGauss=# CREATE TABLE customer_t1 ( c_customer_sk inte 阅读全文
posted @ 2024-06-24 16:31 techbing 阅读(44) 评论(0) 推荐(0)
摘要: 创建和管理schema 背景信息 schema又称作模式。通过管理schema,允许多个用户使用同一数据库而不相互干扰,可以将数据库对象组织成易于管理的逻辑组,同时便于将第三方应用添加到相应的schema下而不引起冲突。 管理schema包括:创建schema、使用schema、删除schema、设 阅读全文
posted @ 2024-06-24 16:31 techbing 阅读(108) 评论(0) 推荐(0)
摘要: 创建和管理表 创建表 向表中插入数据 更新表中数据 查看数据 删除表中数据 详情查看:https://opengauss.org 详情查看:https://docs-opengauss.osinfra.cn 阅读全文
posted @ 2024-06-24 16:31 techbing 阅读(26) 评论(0) 推荐(0)
摘要: 创建和管理表空间 背景信息 通过使用表空间,管理员可以控制一个数据库安装的磁盘布局。这样有以下优点: 如果初始化数据库所在的分区或者卷空间已满,又不能逻辑上扩展更多空间,可以在不同的分区上创建和使用表空间,直到系统重新配置空间。 表空间允许管理员根据数据库对象的使用模式安排数据位置,从而提高性能。 阅读全文
posted @ 2024-06-24 16:30 techbing 阅读(67) 评论(0) 推荐(0)
摘要: 创建和管理分区表 背景信息 openGauss数据库支持的分区表为范围分区表、间隔分区表、列表分区表、哈希分区表。 范围分区表:将数据基于范围映射到每一个分区,这个范围是由创建分区表时指定的分区键决定的。这种分区方式是最为常用的,并且分区键经常采用日期,例如将销售数据按照月份进行分区。 间隔分区表: 阅读全文
posted @ 2024-06-24 16:30 techbing 阅读(199) 评论(0) 推荐(0)