gpu 驱动安装失败处理

gpu 驱动安装失败处理

一、描述

    遇到的核心问题是平台部署后 nvidia-smi 命令异常（不存在或无法检测 GPU），导致 GPU 功能不可用，且部署过程中 NVIDIA 驱动安装步骤仅输出失败日志但未终止部署，需要一套完整的排查和解决流程。

二、关键字

gpu, driver, nvidia, clever, docker

三、问题现象细化

• • 部署阶段：执行“Install nvidia driver”步骤时，日志明确输出驱动安装失败，但部署流程未中断，最终平台仍完成部署；
  • 部署后验证：
    • 执行nvidia-smi命令提示 “command not found”（命令不存在）；
    • 或nvidia-smi执行后无 GPU 信息输出（能检测命令但识别不到硬件）；
    • 平台资源管理模块中无 GPU 设备显示，GPU 相关功能无法使用；
  • 意外常见现象：
    • 部分场景下执行驱动安装脚本会提示 “kernel header 版本不匹配”；
    • 驱动安装时提示 “DKMS 构建失败”；
    • Docker 容器内无法调用 GPU（若平台基于 Docker 部署）。

四、解决方案:

4.1、前置检查，确认 GPU 兼容性

• 1. 核对 GPU 型号：参考 NVIDIA 官方或平台附录的“支持 GPU 型号列表”，确认当前节点的 GPU 型号（如 Tesla V100/A100、GTX 1080Ti 等）在支持范围内，淘汰型号（如 Kepler 架构部分型号）可能存在驱动适配问题；
  2. 检查硬件状态：执行 lspci | grep -i nvidia，若无输出说明 GPU 硬件未被系统识别（可能是硬件接触不良、插槽故障），需先排查硬件。

4.2、步骤1：手动重装 NVIDIA 驱动

4.2.1、进入启动目录

cd /root/.clever/driver

4.2.2、先卸载残留的驱动（避免冲突）

# 若之前安装过驱动，先清理
nvidia-uninstall || true
# 清理DKMS残留
rm -rf /var/lib/dkms/nvidia*　

4.2.3、禁用 nouveau（NVIDIA 驱动冲突的核心原因）

# 1. 创建禁用配置文件
echo -e "blacklist nouveau\noptions nouveau modeset=0" > /etc/modprobe.d/blacklist-nouveau.conf
# 2. 重建initramfs
update-initramfs -u
# 3. 重启系统（必须）
reboot

4.2.4、重启后验证 nouveau 是否禁用

lsmod | grep nouveau

4.2.5、手动执行驱动安装脚本

# 进入驱动目录
cd /root/.clever/driver
# 赋予执行权限
chmod +x NVIDIA-Linux-x86_64-384.98.run
# 安装（添加--no-opengl-files避免GUI冲突，--dkms适配内核更新）
sh NVIDIA-Linux-x86_64-384.98.run --no-opengl-files --dkms -s

安装过程中若提示“kernel header missing”，需安装对应内核版本的头文件：

# 安装内核头文件（以CentOS为例，Ubuntu替换为apt-get）
yum install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)

4.3、步骤2：验证驱动安装结果

• • • 基础验证：执行nvidia-smi，若输出 GPU 型号、驱动版本、显存等信息，说明驱动安装成功；
    • 平台层面验证：
      • 重启平台 kernel 服务（根据平台部署文档执行，如systemctl restart clever-kernel）；
      • 查看平台资源模块，确认 GPU 设备正常显示；
    • Docker 环境验证（若平台基于 Docker）：

      # 检查nvidia-docker是否正常
      docker run --rm --gpus all nvidia/cuda:10.0-base nvidia-smi

4.4、步骤3：意外异常处理

• • • 若nvidia-smi提示 “Failed to initialize NVML: Driver/library version mismatch”：
      • 原因：内核模块与驱动版本不一致，需重启系统（reboot）后重试；
    • 若驱动安装提示 “Secure Boot enabled”：
      • 进入 BIOS 关闭 Secure Boot，或在安装时选择 “Sign the kernel module” 并按提示完成签名；
    • 若平台仍识别不到 GPU：
      • 检查平台配置文件中 GPU 检测路径（如/dev/nvidia*是否存在）；
      • 确认运行平台的用户有 GPU 设备访问权限（chmod 666 /dev/nvidia*）。