安装ib网卡、显卡驱动、coda

哈喽啊亲们！我是  小橘  ，今天给大家分享 Ubuntu 如何安装ib网卡、显卡驱动、coda，安装前大家注意安装的版本！！

环境准备

 

apt install net-tools bzip2  lrzsz -y
# net-tools：这是一组用于网络管理的工具。
# bzip2：这是一种高效的文件压缩和解压缩工具

需要准备以下四个包（以自己安装的版本为主）
MLNX_OFED_LINUX-24.04-0.6.6.0-ubuntu22.04-x86_64.tgz
NVIDIA-Linux-x86_64-550.90.07.run
cuda_12.3.0_545.23.06_linux.run
nvidia-fabricmanager-550_550.90.07-1_amd64.deb

 

以上的工具已经具备则不用安装！！

安装 Mellanox OFED（OpenFabrics Enterprise Distribution，开放结构企业发行版）软件包

 

cd /opt
rz  -E
#在此前把软件包上传到 /opt 目录
tar -zxf /opt/MLNX_OFED_LINUX-24.04-0.6.6.0-ubuntu22.04-x86_64.tgz

安装ib 网卡（InfiniBand 网络接口卡）

 

##安装nvidia-fabricmanager
cd /opt
dpkg -i nvidia-fabricmanager-550_550.90.07-1_amd64.deb
#开启nvidia-fabricmanager服务开机启动
systemctl enable nvidia-fabricmanager --now
systemctl status nvidia-fabricmanager |grep active 

#测试连通性
/usr/local/cuda-12.3/extras/demo_suite/deviceQuery 

##关闭休眠
systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target 

 

显卡驱动

#加权限执行NVIDIA显卡驱动（GPU驱动）
chmod +x NVIDIA-Linux-x86_64-550.90.07.run
./NVIDIA-Linux-x86_64-550.90.07.run -q -s 
#加载NVIDIA GPU Peer Memory 模块
modprobe nvidia_peermem
#启用 NVIDIA GPU 的持久化模式
nvidia-smi -pm 1
nvidia-smi | grep 550

 

cuda（并行计算平台和编程模型）

#转到opt
cd /opt
chmod +x cuda_12.3.0_545.23.06_linux.run
./cuda_12.3.0_545.23.06_linux.run --silent --toolkit &>> /tmp/2.log
#添加CUDA /bin到环境变量
cat >>/etc/profile <<EOF
export PATH=/usr/local/cuda-12.3/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.3/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
EOF
source /etc/profile
#查询 NVIDIA CUDA 编译器驱动（nvcc）的相关信息。
nvcc -V 

设置开机自启动

##设置开机启动(nvidia_peermem显卡)
cat > /etc/systemd/system/nvidia_peermem.service <<EOF
[Unit]
After=network.target

[Service]
ExecStart=/usr/sbin/modprobe nvidia_peermem

[Install]
WantedBy=default.target
EOF
##修改权限
chmod 644 /etc/systemd/system/nvidia_peermem.service
#启动服务
systemctl daemon-reload 

systemctl start nvidia_peermem.service && systemctl enable nvidia_peermem.service 


##设置开机启动（persistenced）
cat > /etc/systemd/system/persistenced.service <<EOF
[Unit]
After=network.target

[Service]
ExecStart=/usr/bin/nvidia-smi -pm 1

[Install]
WantedBy=default.target
EOF
##修改权限
chmod 644 /etc/systemd/system/persistenced.service
#启动服务
systemctl daemon-reload
systemctl start persistenced.service && systemctl enable persistenced.service 

验证是否安装成功

#快速查看 GPU 状态。
nvidia-smi

#将 InfiniBand（IB网卡）设备映射到网络设备
ibdev2netdev

#cuda 版本
nvcc -V

#查看 /etc/profile
tail -n 5 /etc/profile

明天继续给大家分享如何卸载旧版本ib网卡、显卡驱动、coda更换新版本，敬请期待！！