摘要: MOT数据采集速度 该测试模拟海量物联网、云端或移动端接入的实时数据流,快速持续地把海量数据注入到数据库。 本次测试涉及大量数据采集,具体如下: 1000万行数据由500个线程发送,2000轮,每个insert命令有10条记录(行),每条记录占200字节。 客户端和数据库位于不同的机器上。 数据库服 阅读全文
posted @ 2024-06-24 17:44 techbing 阅读(6) 评论(0) 推荐(0)
摘要: MOT索引 MOT索引基于最先进的Masstree[对比:磁盘与MOT]的免锁索引,用于多核系统的快速和可扩展的键值(KV)存储,通过B+树的Trie实现。在多核服务器和高并发工作负载上,性能优异。它使用各种先进的技术,如乐观锁方法、缓存感知和内存预取。 在比较了各种最先进的解决方案(如[对比:磁盘 阅读全文
posted @ 2024-06-24 17:44 techbing 阅读(34) 评论(0) 推荐(0)
摘要: MOT特性及价值 MOT在高性能(查询和事务延迟)、高可扩展性(吞吐量和并发量)甚至在某些情况下成本(高资源利用率)这些方面拥有显著优势。 低延迟(Low Latency):提供快速的查询和事务响应时间。 高吞吐量(High Throughput):支持峰值和持续高用户并发。 高资源利用率(High 阅读全文
posted @ 2024-06-24 17:44 techbing 阅读(20) 评论(0) 推荐(0)
摘要: MOT统计 统计信息主要用于性能分析或调试。在生产环境中,通常不打开它们(默认是关闭的)。统计信息主要由数据库开发人员使用,数据库用户较少使用。 对性能有一定影响,特别是对服务器。对用户的影响可以忽略不计。 统计信息保存在数据库服务器日志中。该日志位于data文件夹中,命名为postgresql-D 阅读全文
posted @ 2024-06-24 17:43 techbing 阅读(10) 评论(0) 推荐(0)
摘要: MOT外部支持工具 为了支持MOT,修改了以下外部openGauss工具。请确保使用的工具是最新版本。下面将介绍与MOT相关的用法。有关这些工具及其使用方法的完整说明,请参阅《工具与命令参考》。 gs_ctl(全量和增量) 此工具用于从主服务器创建备服务器,以及当服务器的时间线偏离后,将服务器与其副 阅读全文
posted @ 2024-06-24 17:43 techbing 阅读(16) 评论(0) 推荐(0)
摘要: MOT性能基准 我们的性能测试是基于业界和学术界通用的TPC-C基准。 测试使用了BenchmarkSQL(请参见MOT样例TPC-C基准),并且使用交互式SQL命令而不是存储过程来生成工作负载。 说明: 使用存储过程方法可能会产生更高的性能结果,因为它需要大大减少网络往返和数据库封装SQL处理周期 阅读全文
posted @ 2024-06-24 17:42 techbing 阅读(14) 评论(0) 推荐(0)
摘要: MOT样例TPC-C基准 TPC-C简介 TPC-C基准是衡量联机事务处理(OLTP)系统性能的行业标准基准。它基于一个复杂的数据库和许多不同的事务类型。这些事务类型在此基准上执行。TPC-C基准测试既不依赖硬件,也不依赖软件,因此可以在每个测试平台上运行。基准模型的官方概述,见tpc.org网站( 阅读全文
posted @ 2024-06-24 17:35 techbing 阅读(36) 评论(0) 推荐(0)
摘要: MOT应用场景 MOT可以根据负载的特点,显著加快应用程序的整体性能。MOT通过提高数据访问和事务执行的效率,并通过消除并发执行事务之间的锁和锁存争用,最大程度地减少重定向,从而提高了事务处理的性能。 MOT的极速不仅因为它在内存中,还因为它围绕并发内存使用管理进行了优化。数据存储、访问和处理算法从 阅读全文
posted @ 2024-06-24 17:35 techbing 阅读(45) 评论(0) 推荐(0)
摘要: MOT硬件 本次测试使用的服务器满足10GbE组网和以下配置: 基于Arm64/鲲鹏920的2路服务器,型号为TaiShan 2280 v2(128核),800GB RAM,1TB NVMe盘。操作系统为openEuler。 基于Arm64/鲲鹏960的4路服务器,型号为TaiShan 2480 v 阅读全文
posted @ 2024-06-24 17:34 techbing 阅读(15) 评论(0) 推荐(0)
摘要: MOT准备 下文介绍了使用MOT的前提条件以及内存和存储规划。 前提条件 MOT内存和存储规划 详情查看:https://opengauss.org 详情查看:https://docs-opengauss.osinfra.cn 阅读全文
posted @ 2024-06-24 16:48 techbing 阅读(10) 评论(0) 推荐(0)
摘要: MOT资源利用率 在4路96核512GB RAM的x86服务器上测试的资源利用率如下所示。MOT能够高效持续消耗几乎所有可用的CPU资源。例如,192核390万tpmC的CPU利用率几乎达到100%。 tmpC:每分钟完成的TPC-C事务数以橙色条柱和左侧的Y轴 tpmC 表示。 CPU利用率(%) 阅读全文
posted @ 2024-06-24 16:47 techbing 阅读(22) 评论(0) 推荐(0)
摘要: MOT纵向扩容架构 纵向扩容即为同一台机器添加额外的核以增加算力。纵向扩容是传统上为单对控制器和多核的机器增加算力的常见形式。纵向扩容架构受限于控制器的可扩展性。 技术要求 MOT旨在实现以下目标: 线性扩容:MOT提供事务性存储引擎,利用单个NUMA架构服务器的所有核,以提供近线性的扩容性能。这意 阅读全文
posted @ 2024-06-24 16:46 techbing 阅读(30) 评论(0) 推荐(0)
摘要: mysql_fdw mysql_fdw是一款开源插件。openGauss基于开源的mysql_fdw Release 2.5.3 版本进行开发适配。 编译和使用mysql_fdw需要环境上包含MariaDB的开发包,所以openGauss默认不编译mysql_fdw,下面依次介绍如何编译和使用mys 阅读全文
posted @ 2024-06-24 16:46 techbing 阅读(63) 评论(0) 推荐(0)
摘要: NUMA-aware分配和亲和性 非统一内存访问(NUMA)是一种计算机内存设计,用于多重处理,其中内存访问时间取决于内存相对于处理器的位置。处理器可以利用NUMA的优势,优先访问本地内存(速度更快),而不是访问非本地内存(这意味着它不会访问另一个处理器的本地内存或处理器之间共享的内存)。 MOT内 阅读全文
posted @ 2024-06-24 16:45 techbing 阅读(54) 评论(0) 推荐(0)
摘要: Schema Schema又称作模式。通过管理Schema,允许多个用户使用同一数据库而不相互干扰,可以将数据库对象组织成易于管理的逻辑组,同时便于将第三方应用添加到相应的Schema下而不引起冲突。 每个数据库包含一个或多个Schema。数据库中的每个Schema包含表和其他类型的对象。数据库创建 阅读全文
posted @ 2024-06-24 16:45 techbing 阅读(45) 评论(0) 推荐(0)
摘要: SSL证书管理 openGauss默认配置了通过openssl生成的安全证书、私钥。并且提供证书替换的接口,方便用户进行证书的替换。 证书生成-TLS 证书生成-TLCP 证书替换 主备证书认证配置 详情查看:https://opengauss.org 详情查看:https://docs-openg 阅读全文
posted @ 2024-06-24 16:45 techbing 阅读(28) 评论(0) 推荐(0)
摘要: 参数设置 openGauss提供了多种修改GUC参数的方法,用户可以方便的针对数据库、用户、会话进行设置。 参数名称不区分大小写。 参数取值有整型、浮点型、字符串、布尔型和枚举型五类。 布尔值可以是(on,off)、(true,false)、(yes,no)或者(1,0),且不区分大小写。 枚举类型 阅读全文
posted @ 2024-06-24 16:44 techbing 阅读(198) 评论(0) 推荐(0)
摘要: 查看参数值 openGauss安装后,有一套默认的运行参数,为了使openGauss与业务的配合度更高,用户需要根据业务场景和数据量的大小进行GUC参数调整。 操作步骤 以操作系统用户omm登录数据库主节点。 使用如下命令连接数据库。 gsql -d postgres -p 8000 postgre 阅读全文
posted @ 2024-06-24 16:40 techbing 阅读(98) 评论(0) 推荐(0)
摘要: 查看审计结果 前提条件 审计功能总开关已开启。 需要审计的审计项开关已开启。 数据库正常运行,并且对数据库执行了一系列增、删、改、查操作,保证在查询时段内有审计结果产生。 数据库各个节点审计日志单独记录。 背景信息 只有拥有AUDITADMIN属性的用户才可以查看审计记录。有关数据库用户及创建用户的 阅读全文
posted @ 2024-06-24 16:40 techbing 阅读(60) 评论(0) 推荐(0)
摘要: 查看数据 使用系统表pg_tables查询数据库所有表的信息。 openGauss=# SELECT * FROM pg_tables; 使用gsql的\d+命令查询表的属性。 openGauss=# \d+ customer_t1; 执行如下命令查询表customer_t1的数据量。 openGa 阅读全文
posted @ 2024-06-24 16:33 techbing 阅读(103) 评论(0) 推荐(0)