Linux系统下多版本CUDA切换

一、前言

1.本文直接适用于安装且仅安装了一个CUDA（有没有安装CUDNN无关紧要，没安装过CUDNN的直接跳转至安装CUDNN的步骤安装对应的CUDNN即可）。

2.如果电脑里没有安装过CUDA和CUDNN，建议搜一下安装CUDA和CUDNN的博客，按他们的教程安装完第一个CUDA和CUDNN后再看本文。（实际上差别不大，就是第一次安装完成后需要在你主目录下的.bashrc文件中导入你CUDA的路径，类似Windows系统里添加环境变量的作用，不过这里不再赘述）。

3.无论电脑中是否下载过CUDA，在下载CUDA和CUDNN这方面都是一样的，前往它们的官方网站下载所需版本即可：

CUDA官网：https://developer.nvidia.com/cuda-toolkit-archive

CUDNN官网：https://developer.nvidia.com/rdp/cudnn-archive

二、CUDA的下载与安装

这里前往CUDA官网：https://developer.nvidia.com/cuda-toolkit-archive进行下载，不过进入官网后需要登录，否则进入不了下载界面，登录后界面如下：

这里以CUDA11.4.0为例进行演示，选择自己需要的CUDA版本，点击CUDA Toolkit [版本号]进入下一界面：

依次选择自己的操作系统->系统架构->具体的操作系统类型->操作系统版本->安装包类型。

这里我的操作系统是64位的Linux系统——ubuntu，并且ubuntu的版本是20.04，因此我依次点击Linux->x86_64->Ubuntu->20.04->runfile(local)。

P.S.需要说明的是，Installer Type这三种哪一种都可以，我这里选择runfile。

选好之后的界面如下图所示：

可以看到图片下面的Base Installer下的Installation Instructions里有两行终端命令：

wget https://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run

sudo sh cuda_11.4.0_470.42.01_linux.run

我们只需要依次在终端中执行这两行命令就可将CUDA-11.4.0安装完毕。

首先我们Ctrl+Alt+T打开一个新终端，并在新终端中输入第一行命令：

回车之后就会开始下载：

下载结束后我们在终端中输入第二行命令，并按下回车，终端可能会卡在如下界面，并且几秒～几十秒钟内没有变化，这是正常的，请耐心等待。

等待一会儿后终端就会进入如下界面：

这里我们选择Continue（继续），并按下回车，会进入下一界面：

按照提示内容，我们需要输入“accept”接受协议才能继续安装，这里用键盘输入accept这六个字母：

按下回车即可进入下一界面：

这里Driver是Nvidia的显卡驱动，下面的是关于CUDA的说明文档等内容，由于我们已经不是第一次安装CUDA了，因此这里仅保留CUDA Toolkit 11.4这个选项。

P.S.前面带有“X”就表示选中，后面会安装，如果没有“X”，就代表没选中，后续不会安装。按回车可以变更“选中/非选中”状态。

调整之后的界面如下：

我们选择Options，并按下回车，会进入下一界面：

选择Toolket Options并按下回车：

将所有可选择的项都改为不选中，如上图所示，然后选择Change Toolkit Install Path：

按下回车：

鼠标选中整个路径，键盘按Ctrl+Shift+C复制该路径，然后按下回车返回上一界面：

选择Library install path (Blank for system default)这个选项，按下回车：

在Library installpath （Blank for system default）下按Ctrl+shift+V粘贴刚才复制的路径，按下回车返回上一界面：

选择Driver Options，回车，确保Driver Options里的所有选项都是未选中的状态：

选择Done返回上一级目录：

选择Done，回车：

选择Install，按下回车，开始安装，安装完成后的界面如下所示：

出现Summary标识：

==========
=Summary=
==========

查看一下有没有报错，如果没有，如我上图所示，就说明安装成功。

三、CUDNN下载

首先进入CUDNN官网：https://developer.nvidia.com/rdp/cudnn-archive进行下载，官网界面如下：

根据你的CUDA版本选择CUDNN，例如我安装的是CUDA-11.4.0，我可以点击任意for CUDA 11.x后缀的选项，它们只有版本新旧的区别，不影响功能，但建议选择次新的，因为最新的版本可能会有问题。这里为了演示，我就选择最新的版本了：

点开之后我们看Local Installers for Windows and Linux，Ubuntu（x86_64，armsbsa）下的选项。由于我的Ubuntu是64位的因此选择后缀是for Linux x86_64的，至于括号里的Tar、Deb，跟CUDA一样，也是安装包的类型不同，只是安装方式有区别，哪种都可以。这里我选择Tar的包，也就是从上往下数第2个，即Local Installer for Linux x86_64(Tar)，点开之后浏览器就会开始下载：

如上图右上角所示。这里因为我之前已经下载过了，因此再次下载时，文件名末尾会多一个“（1）”后缀。浏览器的默认安装路径是主目录下的下载文件夹（/home/[用户名]/下载），下载完毕之后打开下载文件夹：

这里能够看到下载好的文件cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz，鼠标右击该文件，选择提取到此处，解压后如下图所示：

我们打开解压后的文件夹，鼠标右击空白处，选择在终端打开，就能在当前目录下打开一个终端：

在执行下面的命令前注意观察该文件夹下是lib文件夹还是lib64文件夹，这决定了后面的命令内容。我们这里是lib文件夹，因此依次输入下述命令：

sudo cp lib/* /usr/local/cuda-11.4/lib64/ 
sudo cp include/* /usr/local/cuda-11.4/include/

这里说明一下上述命令的作用，以便读者灵活调整命令。

sudo是提高用户权限的命令，cp [源文件的绝对路径] [目标路径]是一个将源文件/文件夹复制到目标路径下的命令，如上面的第一行命令代表的意思就是将终端当前工作路径下的lib文件夹下的所有内容，复制到/usr/local/cuda-11.4/lib64/路径下。因为/usr目录不是随随便便都可以访问的，因此需要sudo命令提高用户权限才能操作。

解释完上述命令的作用，现在读者应该知道了，如果你下载的CUDA是12.1的，那命令就应该改成：

sudo cp lib/* /usr/local/cuda-12.1/lib64/ 
sudo cp include/* /usr/local/cuda-12.1/include/

上述命令执行完毕之后，如果顺利，你就已经成功下载并安装完成了CUDA及对应版本的CUDNN，完成后，我们输入下面的命令进行验证：

cat /usr/local/cuda-11.4/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

同样的道理，如果安装的是别的版本的CUDA，比如10.1的，那上述命令需要改成：

cat /usr/local/cuda-10.1/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

如果安装没有问题，输出的界面如下：

至此，CUDA和相应的CUDNN下载以及安装就完成了。

四、CUDA多版本切换

首先，键盘按Ctrl+Alt+T新建一个终端，然后输入如下命令在主目录下新建一个.sh文件：

touch switch-cuda.sh

回车之后就可以在主目录下看到该文件了：

然后在终端中输入gedit switch-cuda.sh，打开该文件（会用nano或者vim的按自己的习惯来就行），将下面这段代码复制粘贴进去：

#!/usr/bin/env bash
# Copyright (c) 2018 Patrick Hohenecker
#
# Permission is hereby granted, free of charge, to any person obtaining a copy
# of this software and associated documentation files (the "Software"), to deal
# in the Software without restriction, including without limitation the rights
# to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
# copies of the Software, and to permit persons to whom the Software is
# furnished to do so, subject to the following conditions:
#
# The above copyright notice and this permission notice shall be included in all
# copies or substantial portions of the Software.
#
# THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
# IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
# FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
# AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
# LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
# OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
# SOFTWARE.
# author:  Patrick Hohenecker <mail@paho.at>
# version: 2018.1
# date:   May 15, 2018
set -e
# ensure that the script has been sourced rather than just executed
if [[ "${BASH_SOURCE[0]}" = "${0}" ]]; then
echo "Please use 'source' to execute switch-cuda.sh!"
exit 1
fi
INSTALL_FOLDER="/usr/local" # the location to look for CUDA installations at
TARGET_VERSION=${1}     # the target CUDA version to switch to (if provided)
# if no version to switch to has been provided, then just print all available CUDA installations
if [[ -z ${TARGET_VERSION} ]]; then
echo "The following CUDA installations have been found (in '${INSTALL_FOLDER}'):"
ls -l "${INSTALL_FOLDER}" | egrep -o "cuda-[0-9]+\\.[0-9]+$" | while read -r line; do
echo "* ${line}"
done
set +e
return
# otherwise, check whether there is an installation of the requested CUDA version
elif [[ ! -d "${INSTALL_FOLDER}/cuda-${TARGET_VERSION}" ]]; then
echo "No installation of CUDA ${TARGET_VERSION} has been found!"
set +e
return
fi
# the path of the installation to use
cuda_path="${INSTALL_FOLDER}/cuda-${TARGET_VERSION}"
# filter out those CUDA entries from the PATH that are not needed anymore
path_elements=(${PATH//:/ })
new_path="${cuda_path}/bin"
for p in "${path_elements[@]}"; do
if [[ ! ${p} =~ ^${INSTALL_FOLDER}/cuda ]]; then
new_path="${new_path}:${p}"
fi
done
# filter out those CUDA entries from the LD_LIBRARY_PATH that are not needed anymore
ld_path_elements=(${LD_LIBRARY_PATH//:/ })
new_ld_path="${cuda_path}/lib64:${cuda_path}/extras/CUPTI/lib64"
for p in "${ld_path_elements[@]}"; do
if [[ ! ${p} =~ ^${INSTALL_FOLDER}/cuda ]]; then
new_ld_path="${new_ld_path}:${p}"
fi
done
# update environment variables
export CUDA_HOME="${cuda_path}"
export CUDA_ROOT="${cuda_path}"
export LD_LIBRARY_PATH="${new_ld_path}"
export PATH="${new_path}"
echo "Switched to CUDA ${TARGET_VERSION}."
set +e
return

键盘按Ctrl+S保存，然后关闭该文件。

Ctrl+Alt+T新建一个终端，输入下面的命令：

source switch-cuda.sh

上述命令可以检查你本机安装的CUDA版本，并输出到终端，方便你找到你电脑上能切换的CUDA版本：

如上图所示，我的电脑中安装有CUDA-11.4和CUDA-12.1，想要切换成某个版本的CUDA只需要在上面命令的基础上增加版本号即可，例如输入下面的代码即可将CUDA切换到11.4版本：

source switch-cuda.sh 11.4

效果图如下：

如上图所示，我用nvcc -V命令查看了我当前使用的CUDA版本，显示是12.1，当我输入上述命令后，显示切换到了11.4。

补充

上述说明的CUDA版本切换即使是在虚拟环境中也是可以使用的。下面我用Anaconda创建的虚拟环境进行演示：

可以看到，在我激活了base环境后，仍然可以通过source上述.sh文件实现CUDA版本的切换的。

至此，工成文毕！