DoraCloud云桌面使用vGPU（四）4.3 RTX A5000虚拟vGPU

4.3 DoraCloud使用RTX A5000虚拟vGPU

一台高配的工作站进行虚拟化改造。工作站配置如下：

CPU:intel i9:13900KF 内存:64G 显卡:nvidia RTXA5000-24G 显卡:A2000 硬盘：1TB NVME

为了正常启用显卡的虚拟化功能，硬件安装有如下要点：

1、A5000显卡不能接显示器。 A5000用作虚拟化显卡，不能用于输出，因此不能接显示器。这时需要有另一个显卡接显示器。

2、BIOS 开启 SR-IOV（也叫 VT-D），开启 Above 4G MMIO BIOS Assignment

软件安装步骤：

1）安装Proxmox VE 7.x

2）通过 displaymodeselector 设置显卡模式为 vGPU模式。

3）执行 gpu01.sh、gpu02.sh

apt install git-core -y
git clone https://gitee.com/deskpool/proxmox-vgpu
./proxmox-vgpu/nvidia/gpu01.sh
./proxmox-vgpu/nvidia/gpu02.sh
copy

Proxmox VE 系统会重启，重启后，先检查 IOMMU是否启用。

root@pve08:~# dmesg |grep IOMMU
[    0.046588] DMAR: IOMMU enabled
copy

4）执行gpu03.sh安装 nvidia grid 驱动

./proxmox-vgpu/nvidia/gpu03.sh

驱动安装后，系统重启，然后执行 nvidia-smi查看显卡状态。

root@pvehost:~# nvidia-smi
Fri May 24 16:20:22 2024       
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.161.05             Driver Version: 535.161.05   CUDA Version: N/A      |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA RTX A5000               On  | 00000000:01:00.0 Off |                    0 |
| 30%   46C    P8              29W / 230W |  22272MiB / 23028MiB |      0%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
copy

5）执行 sriov-manage 激活SR-IOV

/usr/lib/nvidia/sriov-manage -e 0000:01:00.0

执行激活SR-IOV后，需要通过 mdevctl types 命令，查询vGPU类型。如果可以查询到mdev类型，证明激活成功。

由于sriov-manage命令对显卡的SR-IOV的启用，不会持久化。为了使显卡重启启动后，还能自动启动SR-IOV，需要定义一个服务。

cat >/etc/systemd/system/sriov.service <<EOF
[Unit]
Description=Enable NVIDIA SR-IOV
After=network.target nvidia-vgpud.service nvidia-vgpu-mgr.service
Before=pve-guests.service
[Service]
Type=oneshot
ExecStartPre=/bin/sleep 30
ExecStart=/usr/lib/nvidia/sriov-manage -e ALL
[Install]
WantedBy=multi-user.target

EOF

systemctl daemon-reload

systemctl enable sriov.service

systemctl start sriov.service
copy

上述命令中，需要填写显卡的PCIe地址。你也可以使用 all 参数替代，表明启用所有显卡的SR-IOV。

6）安装DoraCloud，在线下载一个带有vGPU驱动的模板，比如 win10LTSC2021V5

如果模板中没有vGPU驱动，可以编辑模板安装驱动。

7）在DoraCloud桌面池内，配置A5000的GPU和vGPU类型

如下图：