ALM-5023504 云数据库 GaussDB差量备份失败

告警解释

GaussDB自动差量备份失败，产生此告警。

告警属性

告警ID	告警级别	告警类型	告警归属	业务类型	是否可自动清除
5023504	重要	操作告警	租户面	云数据库 GaussDB	是

告警参数

类别	参数名称	参数含义
定位信息	云服务	产生告警的云服务
	系统	产生告警的系统
	模块	产生告警的模块
	实例	产生告警的实例ID
附加信息	租户名称	产生告警的租户名称
	实例名称	产生告警的实例名称
	云服务	产生告警的云服务
	服务	产生告警的服务
	微服务	产生告警的微服务
	告警源IP	告警源IP

对系统的影响

对实例业务无影响；差量备份失败会导致后续无法用该备份执行恢复。

可能原因

实例状态为故障。
OBS连接异常。

处理步骤

参考查看实例操作失败任务，找到任务失败的原因和失败的阶段。
- 如果实例状态为正常，实例存在异常节点，参考《华为云Stack 8.3.1 应急预案》中的“数据库服务 > 云数据库 GaussDB > 运维案例库 > 租户面应急案例”选择“节点修复”或“节点替换”进行修复，解决节点异常问题。
- 如果任务失败在ExportDbStatusCheckTask任务，表明备份或者上传失败，执行2。
- 如果以上情况都不符，请执行6。
参考修改Workflow的Job Context，通过失败Task所在Job找到requestId。
根据2得到的requestId，nodeId，参考收集日志下载日志，在日志中查找错误原因。

需要下载的日志如下：

Agent组件下的：/home/Ruby/log/agent.log

如图所示，check_prev_roach_action时失败，说明是内核备份失败。
参考登录实例节点，根据2得到的requestId，nodeId，登录节点。
执行如下指令，查看roach日志。

vim $GAUSSLOG/roach/controller/roach-controller***.log

***请替换为实际日期

说明传文件到OBS桶时异常，需要检查OBS桶。
1. 检查实例与OBS桶网络连通性。
  具体请参考检查实例到OBS网络是否连通，如果是网络不通，请联系网络人员修复OBS网络。
  
  修复后，在修改Workflow的Job Context修改JobContext（exportRequestId，checkExportStatusRequestId）为随机UUID（如：6c55dc44-402b-40b7-9ca2-84ca86746a2a）后在重做Task从“RdsExportDbInitTask”重做即可。
2. 检查是否OBS异常。
  联系底层人员确定是否OBS满或者OBS故障，修复OBS桶后，在修改Workflow的Job Context修改JobContext（exportRequestId，checkExportStatusRequestId）为随机UUID（如：6c55dc44-402b-40b7-9ca2-84ca86746a2a）后在重做Task从“RdsExportDbInitTask”重做即可。
3. 如果从controller日志的报错信息中无法明确问题原因，则打开$GAUSSLOG/roach/agent_inc/目录下的roach-agent日志，找到对应备份时刻点左右的日志，查找报错信息，关键词ERROR。可以在该ERROR日志前后直接找到问题原因。
  例如：如果报错信息中包含“Gauss query execution failed；”则说明是数据库进程重启导致备份失败，请检查数据库对应进程是否正常，节点是否正常。
如果仍然失败，请执行6。
参考下载管理节点日志和收集日志，并收集告警信息，联系技术支持进行处理。

需要下载的日志信息有：

管理侧：
- DBS-GaussDB-backupmanager组件下的日志。
- DBS-GaussDB-instancemanager组件下的日志。
租户侧：

Agent组件下的：
- /home/Ruby/log/agent.log
- /home/Ruby/log/asyncJobResult.dat
GaussDB Kernel组件下的：/var/lib/log/Ruby