阿里云平台健康检查巡检清单-运维篇

阿里云平台健康检查综合巡检清单

1. 管理节点检查
* 节点运行状态：
* 检查管理节点（如部署了管控组件的ECS实例）是否处于 Running 状态。
* 通过阿里云控制台、OpenAPI 或 CLI 确认状态。
* 检查系统负载（CPU、内存）是否在合理范围，无持续高负载。
* 服务运行状态：
* 检查关键管理服务（如管控 Agent、监控 Agent、日志服务 Agent、安全服务 Agent、调度服务等）是否正常运行 (systemctl status, ps aux)。
* 检查服务日志 (journalctl, /var/log/) 是否有错误、警告或频繁重启记录。
* 磁盘使用情况：
* 检查系统盘和数据盘（如有）的使用率 (df -h)。
* 关键阈值： 系统盘 / 分区建议保持在 80% 以下，避免因空间不足导致服务异常或升级失败。
* 检查 inode 使用情况 (df -i)。
* 高可用状态：
* 如果管理节点本身是多节点部署（如管控集群），检查集群状态是否健康（Active/Standby 或 Active/Active）。
* 检查 VIP 漂移状态（如适用）。
* 检查节点间的心跳、网络连接是否正常。
* 验证故障转移功能是否有效（模拟测试需谨慎）。

2. 云平台计算节点（宿主机）检查
* 时间同步 (NTP/Chrony)：
* 检查宿主机系统时间是否准确 (date)。
* 检查 NTP/Chrony 服务状态是否运行 (systemctl status ntpd/chronyd)。
* 检查是否与可靠的 NTP 服务器同步 (ntpq -p, chronyc sources)。
* 检查时间差是否在可接受范围内（通常要求 <= 100ms，越严格越好）。
* 硬件报错：
* 检查系统日志 (dmesg, /var/log/messages) 是否有硬件错误信息（CPU、内存、磁盘、Raid卡、网卡等）。
* 检查 IPMI/SEL 日志（如果宿主机支持并启用）。
* 检查 smartctl -a /dev/sdX 获取磁盘 SMART 健康状态。
* 检查 Raid 卡状态（MegaCli, storcli 等工具）。
* 宿主机运行时间：
* 检查 uptime。
* 评估是否需要安排重启以应用重要的内核更新或修复长时间运行可能累积的问题（需结合业务窗口）。
* 宿主机磁盘使用情况：
* 检查宿主机本地系统盘、数据盘（如用于缓存、临时存储）的使用率 (df -h)。
* 关键阈值： 系统盘 / 分区建议保持在 80% 以下，避免影响宿主机稳定性。
* 检查关键目录（如 /var/log, /tmp）空间使用。

3. 云平台集群高可用性 (HA) 检查
* HA 状态：
* 检查整个集群的 HA 功能是否全局启用且状态为 Active 或 Healthy。
* 检查各 HA 组件的状态（如 VRRP 实例、健康检查服务）。
* HA 配置信息：
* 检查 HA 配置是否符合预期（如故障切换策略、资源约束规则、隔离策略）。
* 验证配置是否一致且正确应用于所有相关节点。
* HA 仲裁方式：
* 确认使用的仲裁机制（如基于共享存储的锁、基于多数节点投票、基于第三方仲裁服务）。
* 检查仲裁设备/服务的可用性和状态（如仲裁磁盘、仲裁节点）。
* 未开启 HA 的虚拟机：
* 扫描所有虚拟机，识别出 未启用 HA 保护 的实例。
* 关键： 评估这些 VM 的业务重要性和未开启 HA 的原因。对于关键业务 VM，应确保启用 HA。
* 生成报告并跟进处理。

4. 云平台计算资源检查
* 宿主机资源使用：
* CPU： 检查每台宿主机的 CPU 总使用率、空闲率、等待率、Steal 率 (top, vmstat, sar)。识别 CPU 瓶颈主机。
* 内存： 检查每台宿主机的内存总使用量、空闲量、Buffer/Cache 量、Swap 使用量 (free -m, top)。识别内存紧张或频繁 Swap 的主机。
* 集群资源使用：
* CPU： 汇总计算集群总的 CPU 资源（vCPU 核数）、已分配量、实际使用量、空闲量。
* 内存： 汇总计算集群总的内存资源（GB）、已分配量、实际使用量、空闲量。
* CPU 和内存超分情况：
* 计算并监控 CPU 的超分比 (Allocated vCPU / Physical CPU Cores)。
* 计算并监控内存的超分比 (Allocated Memory / Physical Memory)。
* 关键： 评估超分比是否在合理、安全的范围内（根据业务负载特征和 SLA 要求确定）。过高的超分比可能导致资源争抢和性能下降。
* 宿主机内存预留：
* 检查宿主机是否为 Host OS 和 Hypervisor 预留了足够的内存（通常通过内核参数或 Hypervisor 配置设置）。
* 确认预留值是否充足，避免宿主机因内存不足而 OOM Killer 触发或影响稳定性。
* 评估预留值是否合理，避免预留过多浪费资源。

5. 云平台存储资源检查 (以 Ceph 为例)
* 集群状态：
* 检查 Ceph 集群整体健康状态 (ceph -s)。确保状态为 HEALTH_OK。关注 HEALTH_WARN 和 HEALTH_ERR。
* 运行状态：
* 确认集群处于正常运行模式 (ceph osd stat, ceph mon stat)，无降级或恢复操作异常。
* 集群整体健康状况：
* 检查集群容量使用率（已用/总量）。
* 检查数据均衡状态，是否有 OSD 使用率严重不均。
* 检查 PGs 状态 (ceph pg stat)：重点关注 active+clean 的比例，警惕 degraded, undersized, stale, inactive 等异常状态。
* Mon 节点状态：
* 检查所有 Monitor 节点的状态 (ceph mon stat) 是否都是 quorum 成员且在线。
* 检查 Mon 服务进程状态。
* 检查 Mon 节点磁盘空间（存储集群 map 和日志）。
* OSD 状态：
* 检查所有 OSD 的状态 (ceph osd tree, ceph osd stat)：确保所有 OSD 都是 up 且 in。
* 识别 down, out, reweight 异常的 OSD。
* 检查每个 OSD 的使用率、PG 分布、延时、IOPS 等性能指标。
* 检查 OSD 日志是否有错误。
* PG 状态：
* 详细检查 PG 状态 (ceph pg dump_stuck 查看卡住的 PG, ceph pg dump 查看详细信息)。
* 关注 PG 的 state，修复卡在 peering, recovery, backfill 等状态的 PG。
* 检查 PG 的 last_scrub/last_deep_scrub 时间，确保数据完整性校验按计划执行。
* 存储池使用情况：
* 检查每个存储池 (Pool) 的容量使用率、对象数量。
* 检查池的副本数/EC 配置是否符合预期。
* 检查池的配额设置（如有）。
* 存储主机的主机时间同步：
* 特别强调： 所有 Ceph 节点（Mon, OSD, MDS, RGW, Client）必须 保持严格的时间同步（NTP/Chrony）！
* 检查每台存储主机的时间同步状态（同 2.1 时间同步）。
* 节点间时间差过大是 Ceph 集群稳定性和数据一致性的重大隐患。

巡检建议与最佳实践：

1. 自动化： 尽可能使用脚本（Shell/Python）、配置管理工具（Ansible/SaltStack）、阿里云监控服务、Prometheus+Grafana、Zabbix 等工具实现自动化巡检和数据采集。
2. 定时化： 设定定期巡检计划（如每天、每周、每月），不同检查项的频率可以不同（如 CPU/内存/磁盘使用率应高频检查，硬件日志/HA 配置可低频检查）。
3. 指标化 & 可视化： 将关键指标（CPU 使用率、内存使用率、磁盘使用率、集群健康状态、PG 状态、超分比等）通过 Dashboard 可视化展示，设置合理的告警阈值。
4. 文档化： 记录每次巡检的结果、发现的问题、处理措施和跟进状态。建立巡检报告模板。
5. 告警联动： 将巡检发现的严重问题（如 HEALTH_ERR, 关键服务 Down, 磁盘爆满, HA 失效）实时触发告警通知（邮件、短信、钉钉、企业微信等）。
6. 基线对比： 建立资源使用、性能指标的正常基线，巡检时进行对比分析，发现异常趋势。
7. 变更关联： 在发生重大变更（如节点扩容、软件升级、配置调整）后，应进行专项巡检。
8. 安全合规： 将安全基线检查（如端口开放、漏洞扫描、密码策略、访问控制）也纳入定期巡检范围。

这份结构化的清单和补充说明应该能为您进行全面的阿里云平台运维巡检提供清晰的指引。请根据您实际使用的具体云平台服务（如 ACK, ECS, NAS, OSS, PolarDB, RDS 等）和底层技术栈（如 KVM, Ceph 版本）调整具体的检查命令和关注点。