摘要: DB4AI-Query:模型训练和推断 openGauss当前版本支持了原生DB4AI能力,通过引入原生AI算子,简化操作流程,充分利用数据库优化器、执行器的优化与执行能力,获得高性能的数据库内模型训练能力。更简化的模型训练与预测流程、更高的性能表现,让开发者在更短时间内能更专注于模型的调优与数据分 阅读全文
posted @ 2024-04-15 16:57 奔跑的数据库 阅读(39) 评论(0) 推荐(0)
摘要: DBMind模式说明 用户可通过gs_dbmind命令调用AI4DB的全部功能,该命令可实现下列基本功能: 服务功能:service子命令,包括创建并初始化配置目录、启动后台服务、关闭后台服务等; 调用组件:component子命令,AI4DB功能(如索引推荐、参数调优等)可通过该模式进行即时调用; 阅读全文
posted @ 2024-04-15 16:56 奔跑的数据库 阅读(36) 评论(0) 推荐(0)
摘要: 获取帮助 模块命令行说明: gs_dbmind component forecast --help usage: forecast.py [-h] -c DIRECTORY [--metric-name METRIC_NAME] [--host HOST] [--labels LABELS] [-- 阅读全文
posted @ 2024-04-15 16:55 奔跑的数据库 阅读(5) 评论(0) 推荐(0)
摘要: 命令参考 表 1 gs_dbmind component forecast 命令行说明 参数 参数说明 取值范围 -h, --help 帮助命令 - action 动作参数 show:结果展示clean:清理结果early-warning:进行报警 -c,--conf 配置目录 - --metric 阅读全文
posted @ 2024-04-15 16:54 奔跑的数据库 阅读(19) 评论(0) 推荐(0)
摘要: 使用指导 假设用户已经初始化配置文件目录confpath,则可以通过下述命令实现本特性的功能: 仅启动趋势预测功能,启动命令如下(更多用法参考对service子命令的说明):: gs_dbmind service start -c confpath --only-run forecast 用户交互式 阅读全文
posted @ 2024-04-15 16:54 奔跑的数据库 阅读(36) 评论(0) 推荐(0)
摘要: 资源池化多机并行 可获得性 本特性自openGauss 5.1.1 版本开始引入。 特性简介 SPQ(SharedEverything Parallel Query)是在openGauss开源数据库上的一个多机并行查询框架,该框架部署在资源池化场景内,该场景下集群部署的为一写多读架构,集群下存在一个 阅读全文
posted @ 2024-04-15 16:49 奔跑的数据库 阅读(157) 评论(0) 推荐(0)
摘要: 资源池化算子卸载 可获得性 本特性自openGauss 5.1.0 版本开始引入。 特性简介 共享存储虽然带来弹性,可靠性的好处,但是和本地盘单机比较性能会下降较多,主要是网络IO和分布式存储自身带来的延迟,尤其对于大规模查询buffer pool无法缓存的场景,大量的数据需要从存储节点搬运到计算节 阅读全文
posted @ 2024-04-15 16:48 奔跑的数据库 阅读(45) 评论(0) 推荐(0)
摘要: 资源池化特性说明 可获得性 本特性自openGauss 3.1.1 版本开始引入。 特性简介 本特性提供主备机共享一份存储的能力,实现基于磁阵设备的资源池化HA部署形态,解决传统HA部署下存储容量较单机翻倍的问题,同时备机支持实时一致性读。资源池化架构图如下图所示。 图 1 资源池化架构图 客户价值 阅读全文
posted @ 2024-04-15 16:48 奔跑的数据库 阅读(50) 评论(0) 推荐(0)
摘要: 资源池化性能优化 可获得性 本特性自openGauss 5.1.0版本开始引入,仅适用于资源池化架构。 特性简介 本特性包含以下3个子特性: 资源池化备机可见性逻辑优化,本地缓存从主机获取到的事务xid对应的csn,减少网络开销和消息交互。 资源池化主机获取集群oldestxmin逻辑优化,主机本地 阅读全文
posted @ 2024-04-15 16:47 奔跑的数据库 阅读(33) 评论(0) 推荐(0)
摘要: 子事务并发回滚流程优化 可获得性 本特性自openGauss 5.1.0版本开始引入。 特性简介 本特性利用ProcArrayGroup数据结构管理所有抢占ProcArrayLock锁失败的backends,由第一个进入group的backend作为group leader负责请求ProcArray 阅读全文
posted @ 2024-04-15 16:47 奔跑的数据库 阅读(39) 评论(0) 推荐(0)
摘要: 自适应计划选择 可获得性 本特性自openGauss 3.1.0版本开始引入。 特性简介 本特性通过触发基于基表条件选择率的计划选择,以及对于使用了部分索引和offset的查询提供缓存多计划管理和自适应选择。典型场景下能够提升数倍查询吞吐。 客户价值 通过本功能,用户可以通过维护多个缓存计划实现适应 阅读全文
posted @ 2024-04-15 16:47 奔跑的数据库 阅读(22) 评论(0) 推荐(0)
摘要: 自适应压缩 可获得性 本特性自openGauss 1.0.0版本开始引入。 特性简介 数据压缩是当前数据库采用的主要技术。数据类型不同,适用于它的压缩算法不同。对于相同类型的数据,其数据特征不同,采用不同的压缩算法达到的效果也不相同。自适应压缩正是从数据类型和数据特征出发,采用相应的压缩算法,实现了 阅读全文
posted @ 2024-04-15 16:42 奔跑的数据库 阅读(133) 评论(0) 推荐(0)
摘要: 自治事务 可获得性 本特性自openGauss 1.1.0版本开始引入。 特性简介 子事务的提交不受主事务提交或回滚影响的一类事务。 客户价值 满足客户多样化使用场景。 特性描述 自治事务为在主事务执行过程中,以独立的事务上下文执行指定的某一类SQL语句,其commit和rollback不受主事务c 阅读全文
posted @ 2024-04-15 16:42 奔跑的数据库 阅读(43) 评论(0) 推荐(0)
摘要: 作业失败自动重试 可获得性 本特性自openGauss 1.0.0版本开始引入。 特性简介 批处理作业中,在由于网络异常、锁冲突等出错情况下能够保证作业自动重试。 客户价值 网络异常、锁冲突等出错场景下无需人工干预,自动对出错查询进行重试,提高了可用性。 特性描述 openGauss数据库提供作业重 阅读全文
posted @ 2024-04-15 16:42 奔跑的数据库 阅读(65) 评论(0) 推荐(0)
摘要: AI4DB: 数据库自治运维 如上文所述,AI4DB主要用于对数据库进行自治运维和管理,从而帮助数据库运维人员减少运维工作量。在实现上,DBMind的AI4DB框架具有监控和服务化的性质,同时也提供即时AI工具包,提供开箱即用的AI运维功能(如索引推荐)。AI4DB的监控平台以开源的Promethe 阅读全文
posted @ 2024-04-15 16:41 奔跑的数据库 阅读(59) 评论(0) 推荐(0)
摘要: AI特性 人工智能技术最早可以追溯到上世纪50年代,甚至比数据库系统的发展历史还要悠久。但是,由于各种各样客观因素的制约,在很长的一段时间内,人工智能技术并没有得到大规模的应用,甚至还经历了几次明显的低谷期。到了近些年,随着信息技术的进一步发展,从前限制人工智能发展的因素已经逐渐减弱,所谓的ABC( 阅读全文
posted @ 2024-04-15 16:41 奔跑的数据库 阅读(57) 评论(0) 推荐(0)
摘要: 获取帮助 模块命令行说明: gs_dbmind component anomaly_detection --help 显示如下帮助信息: usage: anomaly_analysis.py [-h] -c CONF -m METRIC -s START_TIME -e END_TIME -H HO 阅读全文
posted @ 2024-04-15 16:31 奔跑的数据库 阅读(17) 评论(0) 推荐(0)
摘要: 命令参考 表 1 命令行参数说明 参数 参数说明 取值范围 -h, --help 帮助命令 - -c,--conf 配置文件目录 - -m,--metric 指定显示指标名 - -H, --host 指定数据来源地址信息,通过地址信息进行过滤 -ip地址或者ip地址加端口号 -s, --start- 阅读全文
posted @ 2024-04-15 16:31 奔跑的数据库 阅读(13) 评论(0) 推荐(0)
摘要: 使用指导 假设指标采集系统运行正常,并且用户已经初始化了配置文件目录confpath,则可以通过下述命令实现本特性的功能: 对于某一指标,在特定节点上,分析其他指标与该指标从timestamps1到timestamps1时间段内的数据的相关性: gs_dbmind component anomaly 阅读全文
posted @ 2024-04-15 16:30 奔跑的数据库 阅读(18) 评论(0) 推荐(0)
摘要: 获取帮助 模块命令行说明: gs_dbmind component anomaly_detection --help 显示如下帮助信息: usage: anomaly_detection.py [-h] --action {overview,plot} -c CONF -m METRIC -s ST 阅读全文
posted @ 2024-04-15 16:29 奔跑的数据库 阅读(24) 评论(0) 推荐(0)
摘要: 命令参考 表 1 命令行参数说明 参数 参数说明 取值范围 -h, --help 帮助命令 - --action 动作参数 overview:概览 plot:可视化 -c,--conf 配置文件目录 - -m,--metric-name 指定显示指标名 - -H, --host 指定数据来源地址信息 阅读全文
posted @ 2024-04-15 16:29 奔跑的数据库 阅读(25) 评论(0) 推荐(0)
摘要: 使用指导 假设指标采集系统运行正常,并且用户已经初始化了配置文件目录confpath,则可以通过下述命令实现本特性的功能: 仅启动异常检测功能: gs_dbmind service start --conf confpath --only-run anomaly_detection 对于某一指标,在 阅读全文
posted @ 2024-04-15 16:29 奔跑的数据库 阅读(43) 评论(0) 推荐(0)
摘要: component子命令 该子命令可以用于启动DBMind的组件,包括可用于监控指标的exporter,以及AI功能等。该命令可以将用户通过命令行传入的命令转发给对应的子组件,故不同的子组件命令需参考其功能的对应说明,详见后文各个子组件对应章节,此处不再赘述。 命令参考 用户可以通过 --help 阅读全文
posted @ 2024-04-15 16:29 奔跑的数据库 阅读(10) 评论(0) 推荐(0)
摘要: DB4AI-Query:模型训练和推断 openGauss当前版本支持了原生DB4AI能力,通过引入原生AI算子,简化操作流程,充分利用数据库优化器、执行器的优化与执行能力,获得高性能的数据库内模型训练能力。更简化的模型训练与预测流程、更高的性能表现,让开发者在更短时间内能更专注于模型的调优与数据分 阅读全文
posted @ 2024-04-15 16:28 奔跑的数据库 阅读(39) 评论(0) 推荐(0)
摘要: DB4AI-Snapshots数据版本管理 DB4AI-Snapshots是DB4AI模块用于管理数据集版本的功能。通过DB4ai-Snapshots组件,开发者可以简单、快速地进行特征筛选、类型转换等数据预处理操作,同时还可以像git一样对训练数据集进行版本控制。数据表快照创建成功后可以像视图一样 阅读全文
posted @ 2024-04-15 16:28 奔跑的数据库 阅读(42) 评论(0) 推荐(0)
摘要: DBMind安装和部署 1. 安装准备 1.1 环境信息 假设在主控节点192.168.100.4上部署DBMind,有一套端口号为19999的集群环境,环境信息如下: node node_ip state 主节点 192.168.100.1 Primary 备节点1 192.168.100.2 S 阅读全文
posted @ 2024-04-15 16:27 奔跑的数据库 阅读(216) 评论(0) 推荐(0)