openstack 平台添加 nvidia vGPU

前期准备：

NVIDIA-Linux-x86_64-440.53-vgpu-kvm-3.10.0-1062.12.1.el7.x86_64.run（需要向厂家索取下载地址）

内核升级安装包：

kernel-3.10.0-1062.12.1.el7.x86_64.rpm

kernel-headers-3.10.0-1062.12.1.el7.x86_64.rpm

kernel-devel-3.10.0-1062.12.1.el7.x86_64.rpm

(内核rpm包可在https://buildlogs.centos.org/c7.1908.u.x86_64/kernel/20200205213736/3.10.0-1062.12.1.el7.x86_64/进行下载)

一、升级内核：

由于笔者使用centos7.7的内核版本较低，需要升级内核。

cat /etc/redhat-release

CentOS Linux release 7.7.1908 (Core)

 uname -r

3.10.0-1062.4.1.el7.x86_64

升级内核：

 yum localinstall kernel-devel-3.10.0-1062.12.1.el7.x86_64.rpm

 yum localinstall kernel-headers-3.10.0-1062.12.1.el7.x86_64.rpm

 yum localinstall kernel-3.10.0-1062.12.1.el7.x86_64.rpm

设置新内核启动并重启系统

grub2-set-default 0

reboot

二、安装vGPU驱动

卸载nouveau模块，并禁用此模块

modprobe -r nouveau

cat > /etc/modprobe.d/nvidia-installer-disable-nouveau.conf

 <<EOF

blacklist nouveau

options nouveau modeset=0

EOF

编辑/etc/default/grub文件，在GRUB_CMDLINE_LINUX行添加'intel_iommu=on'

以下红色部分为添加部分。

cat /etc/default/grub

GRUB_TIMEOUT=5

GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"

GRUB_DEFAULT=saved

GRUB_DISABLE_SUBMENU=true

GRUB_TERMINAL_OUTPUT="console"

GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet intel_iommu=on"

GRUB_DISABLE_RECOVERY="true"

重新生成grub文件,并重启系统。

grub2-mkconfig -o /boot/grub2/grub.cfg

dracut --regenerate-all --force

reboot

安装驱动：

bash ./NVIDIA-Linux-x86_64-440.53-vgpu-kvm-3.10.0-1062.12.1.el7.x86_64.run --silent

运行nvidia管理工具

nvidia-vgpud

nvidia-vgpu-mgr

查看GPU信息，发现红色边框里面T4卡显示off

 

重启系统后，变成on可用。

 

三 openstack调度vGPU卡

参考文档

https://docs.openstack.org/nova/queens/admin/virtual-gpu.html#how-to-discover-a-gpu-type

在nova-compute配置文件nova.conf添加配置：

[devices]

enabled_vgpu_types = nvidia-232

添加flavor类型

openstack flavor set m1.nano.v16.16g.100g.vgpu --property "resources:VGPU=1"

创建虚拟机：

openstack server create vm0827vGPU --volume diskGPUtest1 --network netXR --flavor m1.nano.v32.32g.100g.vgpu --availability-zone nova:hz-compute3

驱动后查看vGPU分配情况：