Ubuntu安装TensorRT+CUDA+CUDNN环境详细记录

注:
配置环境需要注意版本对应,具体该链接所示:
https://docs.nvidia.com/deeplearning/tensorrt/archives/#trt_8
首先确定需要的TensorRT版本,后选择cuda和cudnn版本.

1. 本地环境安装(ubuntu18.04)

以TensorRT-8.4.1.5.Linux.x86_64-gnu.cuda-11.6.cudnn8.4为例
记录于2023-08-31,此时间点以下说明均有效.

1.1 cuda本地安装

cuda下载链接:https://developer.nvidia.com/cuda-downloads
选择11.6版本(11.6版本链接:https://developer.nvidia.com/cuda-11-6-0-download-archive?target_os=Linux)

如上图,下载后执行sudo sh cuda_11.6.0_510.39.01_linux.run

continue后直接↓到底:

取消驱动安装(提前安装好了的前提下)后进行install

wait for about minute...
下图是一些有意义的说明,关于如何使用cuda库和如何卸载cuda

按照要求申明环境变量，可以在~/.bashrc中添加

export CUDA_HOME=/usr/local/cuda
export PATH=$PATH:$CUDA_HOME/bin
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

上述步骤的由来均根据上图.
或者在/etc/ld.so.conf进行添加/usr/local/cuda-11.6/lib64,但是需要在environment中添加path选项.
至此cuda11.6安装完成.

1.2 cudnn本地安装

下载链接:https://developer.nvidia.com/rdp/cudnn-download
首次登录右上角需要进行"join",登陆后界面为:

下载后进行解压:

tar -xvf cudnn-linux-x86_64-8.4.1.50_cuda11.6-archive.tar.xz

解压后如图:

进入文件夹后:

sudo cp include/* /usr/local/cuda-11.6/include/
sudo cp lib/* /usr/local/cuda-11.6/lib64/

至此,cudnn安装完成

1.3 TensorRT安装

下载链接:https://developer.nvidia.com/tensorrt

下载后进行解压:

tar -zxvf TensorRT-8.4.3.1.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz

内容如图:

同样将TensorRT-8.4.3.1/lib添加到LD_LIBRARY_PATH中, 至此,bashrc有如下内容:

部分时候,需要在python进行应用,最后使用conda中的python环境.
可以看到TensorRT存在如下python安装包:

选择合适版本

pip install tensorrt-xxx.whl

---

等待完成

2. Docker快速安装

2.1 Docker安装

2.2 镜像下载

2.3 DockerFILE