yuan-er

导航

 

ALM-5101256 Ops巡检-ETCD盘使用率异常

告警解释

仅支持混合部署。此告警对应指标“etcd盘使用率(仅混合部署)”超出配置阈值,此指标反映ETCD盘的使用率。

告警属性

告警ID

告警级别

告警类型

告警归属

业务类型

是否可自动清除

5101256

巡检配置

物理资源告警

租户面

云数据库 GaussDB 节点

告警参数

类别

参数名称

参数含义

定位信息

云服务

产生告警的云服务

实例ID

产生告警的实例ID

节点ID

产生告警的节点ID

巡检名称

产生告警的巡检名称

指标编码

产生告警的指标编码

附加信息

租户名称

产生告警的租户名称

实例名称

产生告警的实例名称

租户ID

产生告警的租户ID

云服务

产生告警的云服务

服务

产生告警的服务

微服务

产生告警的微服务

告警源IP

告警源IP

节点角色

产生告警节点的节点角色

指标编码

产生告警节点的指标编码

指标采集值

产生告警节点的指标采集值

指标阈值

产生告警节点的指标阈值

对系统的影响

一般情况下,ETCD数据目录占用的磁盘空间是恒定的,在350MB ~ 400MB。如果此指标达到100%,可能导致ETCD不可用。

可能原因

  • 异常占用磁盘。
  • 磁盘规格变更。

处理步骤

  1. 收到告警后,参考查看监控指标,查看指标“etcd盘使用率(仅混合部署)”,确认指标情况以及触发告警的组件。
  2. 排查ETCD数据目录占用磁盘的情况。

     

    1. 通过登录实例节点,登录到告警的ETCD所在节点。
    2. 执行命令,获取ETCD数据目录

      ps ux | grep etcd | grep -v grep

      上述命令结果中,--data-dir参数后的值即为ETCD的数据目录,沙箱环境要在此目录前加上/var/chroot。

      如下图示例所示,ETCD的数据目录为:/var/chroot/usr/local/etcd。

    3. 执行du -sh /var/chroot/usr/local/etcd ,获取ETCD数据目录占用磁盘大小。

      • 如果ETCD数据目录占用磁盘大小在350MB ~ 400MB之间,且恒定不上升,执行3
      • 如果ETCD数据目录占用磁盘大小超过400MB,或持续上涨,执行4

     

  3. 执行命令 查看磁盘大小,如下图所示可以看到ETCD的磁盘大小为63G,使用率1%。

     

    df -h

    如果因为ETCD盘降规格导致使用率超阈值,执行5

     

  4. 进入到ETCD的数据目录下,查看目录下文件占用磁盘的大小。

     

    du -h /var/chroot/usr/local/etcd/*

    • 使用此命令如果查出来的文件同上图不一致,需要现场排查文件来源,是否是误操作。
    • 如果文件名一致,但是占用磁盘大小差距较大,执行5

     

  5. 联系技术支持进行处理。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。

posted on 2024-10-22 10:41  数据库笔记  阅读(8)  评论(0)    收藏  举报