ALM-5023005 云数据库 GaussDB删除实例业务失败

告警解释

云数据库 GaussDB删除实例失败，产生此告警。

告警属性

告警ID	告警级别	告警类型	告警归属	业务类型	是否可自动清除
5023005	重要	操作告警	租户面	云数据库 GaussDB	是

告警参数

类别	参数名称	参数含义
定位信息	云服务	产生告警的云服务
	系统	产生告警的系统
	模块	产生告警的模块
	实例ID	产生告警的实例ID
	实例名称	产生告警的实例名称
	实例数据IP	产生告警的实例的数据浮动IP列表。在没有数据浮动IP时不展示此字段。
	工作ID	产生告警的工作流ID
附加信息	租户名称	产生告警的租户名称
	实例名称	产生告警的实例名称
	云服务	产生告警的云服务
	服务	产生告警的服务
	微服务	产生告警的微服务
	告警源IP	告警源IP

对系统的影响

可能造成系统资源泄漏，以及无法终止计费。

可能原因

备份服务异常导致删除备份策略失败。

上报审计失败导致实例删除失败。

IAAS层报错。

处理步骤

使用浏览器，通过地址“https://ManageOne运维面主页的访问地址:31943”，登录ManageOne运维面，或通过地址“https://ManageOne主门户的访问地址”，登录ManageOne主门户，选择“运维中心（OC）”，进入ManageOne运维面。
- 密码方式：输入账号和密码。
  - 默认账号：bss_admin
    
    对于从8.2.0或更早版本升级上来的ManageOne，默认账号为admin。
  - 默认密码：参见《华为云Stack 8.3.1 账户一览表》的“A类（Portal）”页签中，“ManageOne运维面”账户对应的默认密码。
- USB Key方式：插入已预置用户证书的USB Key，选择设备和用户证书，并输入PIN码。
在“告警 > 告警管理 > 当前告警”中查看集中告警，获取告警中的实例ID或者工作ID。
单击上方菜单栏的“首页”，返回首页。
在ManageOne运维面右下角“常用链接”栏中单击“ServiceCM”，跳转到ServiceCM插件列表界面。
在ServiceCM插件列表界面，单击“自助开发平台 > dbs-ops”，进入DBS运维管理平台。
选择“实例运维 > 任务管理”，右上角筛选条件选择“实例ID”或“任务流ID”，输入框中输入上一步获取的实例ID或工作ID，执行搜索。

“失败原因”列输出了失败时的程序错误日志。单击“树表”，则可以查看任务失败具体的环节。
参考以下步骤进行处理。
- 场景一：删除备份策略失败（Gaussdbv5BackupPolicyDeletionTask）执行失败。
  按以下方法重启备份管理服务，排除备份管理服务故障后，重做失败Task。
  1. 参考查看管理节点IP信息搜索“DBS-GaussDB”，查询GaussDB实例管理节点IP。
  2. 以opsadmin用户登录节点。
    默认密码可在《华为云Stack 8.3.1 账户一览表》中“数据库”页签，云服务名称为“GaussDB”，账户名称为“opsadmin”获取。
    
    NOTICE:
    
    为了您的账户安全，请定期修改密码。
  3. 执行以下指令切换到root用户：
    sudo su - root
    
    默认密码可在《华为云Stack 8.3.1 账户一览表》中“数据库”页签，云服务名称为“GaussDB”，所在节点为“GaussDB实例”，账户名称为“root”获取。
    
    NOTICE:
    
    为了您的账户安全，请定期修改密码。
  1. 在service用户下，执行如下命令重启Tomcat进程，如果当前用户不是service用户，需要通过如下命令来切换到service用户。
    su - service
  2. 执行如下指令重启服务。
    cd /opt/cloud/<服务目录>/bin/
    
    ./shutdown.sh
    
    ./startup.sh
  3. 在6的“树表”页面，单击Gaussdbv5BackupPolicyDeletionTask的下拉按钮，选择“重做”任务。
- 场景二：报送审计服务失败（NotifyToCTSTask失败）。
  报送审计失败，该步骤跳过对实例删除无影响，但是需要检查审计服务是否正常。
  
  修复方案：在“树表”页面，单击NotifyToCTSTask的下拉按钮，选择跳过任务，跳过NotifyToCTSTask，等待任务执行成功。
- 场景三：Iass删除资源失败（Gaussdbv5DeleteDBInstanceTask或下一个Task Gaussdbv5CheckVMDeletionResultTask执行失败），根据6中展示的失败概览，分析失败原因。
  - 如失败概览中有类似“network”“ping”的错误信息，表示网络不通，联系运维排查网络故障原因，解决网络问题后，在“树表”页面，单击失败Task所在Job的下拉按钮，选择“重做”重试任务。
  - 如失败概览中有类似“iaas”“ecs”的错误信息，表明是IASS服务异常，删除资源失败，联系运维排查IAAS故障原因，修复问题后在6的“树表”页面，单击失败Task所在Job的下拉按钮，选择“重做”任务。
  如失败原因不在以上场景，请执行8。
参考下载管理节点日志和收集日志，并收集告警信息，联系技术支持进行处理。

需要下载的日志信息有：

管理侧：
- DBS-GaussDB-backupmanager组件下的日志。
- DBS-GaussDB-instancemanager组件下的日志。
租户侧：

Agent组件下的：
- /home/Ruby/log/agent.log
- /home/Ruby/log/asyncJobResult.dat
GaussDB Kernel组件下的：/var/lib/log/Ruby