linux服务器（centos 7.8）配置深度学习环境
参考链接：
Linux GPU加速训练环境搭建（NVIADIA、CUDA、CUDNN）
anaconda 镜像源
清华：https://pypi.tuna.tsinghua.edu.cn/simple 阿里云：http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学：http://pypi.hustunique.com/ 山东理工大学：http://pypi.sdutlinux.org/ 豆瓣：http://pypi.douban.com/simple/ //清华anaconda镜像： conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/ conda config --set show_channel_urls yes //中科大anaconda镜像： conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/ conda config --set show_channel_urls yes
yum 镜像源
http://mirrors.aliyun.com/centos/$releasever/os/$basearch/ http://mirrors.aliyuncs.com/centos/$releasever/os/$basearch/ http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/ http://mirrors.aliyun.com/repo/ #阿里云 http://mirrors.163.com/.help/centos.html #网易 https://mirrors.tuna.tsinghua.edu.cn/help/centos/ #清华 http://mirrors.cqu.edu.cn/repo/centos/ #重庆大学
安装anaconda（可从 https://repo.anaconda.com/archive/index.html 选择需要的版本）
wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh
wget https://repo.continuum.io/archive/Anaconda3-2021.05-Linux-x86_64.sh
sudo chmod 777 Anaconda3-2021.05-Linux-x86_64.sh #如果权限太小，安装了也找不到conda命令
ls -al Anaconda3-2021.05-Linux-x86_64.sh #确认文件权限、或者看到文件变绿色
bash Anaconda3-5.0.1-Linux-x86_64.sh
# unlink /usr/bin/python
ln -s /root/anaconda3/bin/python3.9 /usr/bin/python
ln -s /root/anaconda3/bin/python3.9 /usr/bin/python3
echo 'export PATH="/root/anaconda3/bin:$PATH"' >> ~/.bashrc
source .bashrc
conda upgrade --all
如果你环境变量也好好的，但是还是 conda command not found，那很有可能是你的安装包，也就是sh文件的权限问题，这时候要重新安装
vim ~/.bashrc
export PATH=/root/anaconda3/bin:$PATH export LD_LIBRARY_PATH="/root/anaconda3/lib:$LD_LIBRARY_PATH" #主要用于指定查找动态库时除了默认路径(如 /lib和/usr/lib等)之外的其他路径
source ~/.bashrc
执行 source /etc/profile 失败并提示 'abrt-cli status' timed out
# 下载并安装 liblzma.so.5.2.2 # https://sourceforge.net/projects/lzmautils/files/ xz -V vim .bash_profile export LD_LIBRARY_PATH=/lib64/:$LD_LIBRARY_PATH source .bash_profile cd /root/anaconda3/lib/ ls /lib64 cp /lib64/liblzma.so.5.2.2 /root/anaconda3/lib/ #unlink liblzma.so.5 ln -s -f liblzma.so.5.2.2 liblzma.so.5
安装GCC编译器 yum 安装的 gcc 版本较低
gmp下载链接：http://ftp.gnu.org/pub/gnu/gmp/
mpfr下载链接：http://mirror.hust.edu.cn/gnu/mpfr/
mpc下载链接：http://ftp.gnu.org/gnu/mpc/
isl 下载链接：https://www.mpfr.org/mpfr-3.1.4/
http://www.mirrorservice.org/sites/sourceware.org/pub/gcc/infrastructure/
gcc 7.5 对应的4个依赖包分别是: gmp-6.1.0.tar.bz2，isl-0.16.1.tar.bz2 , mpc-1.0.3.tar.gz , mpfr-3.1.4.tar.bz2
tar -xjvf 文件名.tar.bz2 -C /usr/local tar解压命令 x:解压 j:bz2方式 v:详细显示 f:使用档名 -C:指定解压到的路径 tar -zcvf 文件夹名.tar.gz
gcc --version sudo install -y gcc #ubuntu yum install -y gcc #RHEL/CentOS sudo yum install -y gcc gcc-c++ kernel kernel-devel kernel-header rpm -qa | grep gcc rpm -qa | grep kernel
安装其他依赖库包
yum install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
报错：/root/anaconda3/lib/liblzma.so.5: version `XZ_5.1.2alpha' not found (required by /lib64/librpmio.so.3)
xz下载地址：https://sourceforge.net/projects/lzmautils/files/
# 安装 xz-5.2.2 tar -zxvf xz-5.2.2.tar.gz cd xz-5.2.2 mkdir /opt/software/zx ./configure --prefix=/opt/software/zx #指定安装目录 make && make install #编译并安装 #ln -s /opt/software/zx /usr/local/bin/xz #建立软链接 # 切换到/lib 目录， 将 lib64 下的一个文件复制到/lib cd /lib cp /lib64/liblzma.so.5.2.2 /lib/ # 在/lib 下创建链接 sudo ln -s -f liblzma.so.5.2.2 liblzma.so.5 # 测试yum list cd /root/anaconda3/lib/ cp /lib64/liblzma.so.5.2.2 /root/anaconda3/lib/ sudo ln -s -f liblzma.so.5.2.2 liblzma.so.5
报错：/usr/lib64/python2.7/site-packages/pycurl.so: undefined symbol: CRYPTO_num_locks
http://t.zoukankan.com/relax-zw-p-11328504.html
安装对应版本的Kernel Headers以及对应的开发包
无论你什么时候更改了kernel的版本，对应版本的kernel headers以及开发包都必须在安装CUDA之前安装好
查看系统的内核(kernel)版本号：uname -r
在安装CUDA驱动前，系统的kernel headers以及开发包的版本号必须和这个版本号一致。
安装和内核版本一致的kernel headers以及开发包：
sudo yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r) #RHEL/CentOS
sudo dnf install kernel-devel-$(uname -r) kernel-headers-$(uname -r) #Fedora
sudo apt-get install linux-headers-$(uname -r) #Ubuntu
安装CUDA SAMPLE所必需的依赖包
sudo apt-get install -y make freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libglu1-mesa-dev
关闭 the Nouveau drivers
检查nouveau驱动是否启动
lsmod | grep nouveau #有输出表示启动
关闭
ll /usr/lib/modprobe.d/blacklist-nouveau.conf
vim /usr/lib/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
options nouveau modeset=0
安装CUDA +CUDNN
cuda_11.4.0_470.42.01_linux.run
cudnn-11.4-linux-x64-v8.2.2.26.tgz
# 安装CUDA chmod +x cuda_11.4.0_470.42.01_linux.run #修改文件运行权限，之后文件变为绿色 sudo sh cuda_11.4.0_470.42.01_linux.run 由于你的系统中已经有了nvidia显卡驱动,如果不想安装cuda11.4中附带的驱动,移动到driver选项上,按空格键将该项取消。再移动到install回车，等待安装。 vim ~/.bashrc export PATH=/usr/local/cuda-11.4/bin:$PATH #其实有cuda和cuda-11.4两个 export LD_LIBRARY_PATH=/usr/local/cuda-11.4/lib64:$LD_LIBRARY_PATH export CUDA_HOME=/usr/local/cuda-11.4:$CUDA_HOME source ~/.bashrc nvcc -V #验证安装成功 # 安装CUDNN #解压文件 tar -xzvf cudnn-11.4-linux-x64-v8.2.2.26.tgz #拷贝至指定目录 sudo cp cuda/include/cudnn* /usr/local/cuda-11.4/include sudo cp cuda/lib64/libcudnn* /usr/local/cuda-11.4/lib64 sudo chmod a+r /usr/local/cuda-11.4/include/cudnn* sudo chmod a+r /usr/local/cuda-11.4/lib64/libcudnn* #如果结果如下图逐行显示版本号，则安装成功 cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
numba 是 Anaconda 自带的扩展库之一。在输入如下命令可查看硬件信息、操作系统信息、Python 版本、CUDA 版本信息。
numba -s
conda install -c conda-forge cudatoolkit=11.2 cudnn=8.1.0
如果是从 https://repo.anaconda.com/pkgs/main/linux-64/ 下载的离线安装包 .tar.bz2 则按照下面方法安装
conda install --use-local xxx.tar.bz2
wget https://developer.download.nvidia.com/compute/cuda/11.4.4/local_installers/cuda-repo-rhel7-11-4-local-11.4.4_470.82.01-1.x86_64.rpm sudo rpm -i cuda-repo-rhel7-11-4-local-11.4.4_470.82.01-1.x86_64.rpm sudo yum clean all sudo yum -y install nvidia-driver-latest-dkms cuda sudo yum -y install cuda-drivers
安装pytorch和tensorflow
参照：https://tensorflow.google.cn/install/pip
pytorch线上安装：https://pytorch.org/get-started/locally/
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 import torch torch.cuda.is_available()
pytorch离线包下载：https://download.pytorch.org/whl
torch-1.11.0+cu113-cp39-cp39-linux_x86_64.whl torchaudio-0.11.0+cu113-cp39-cp39-linux_x86_64.whl torchvision-0.12.0+cu113-cp39-cp39-linux_x86_64.whl
tensorflowl离线包下载：https://tensorflow.google.cn/install/pip
tensorflow_gpu-2.9.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
tensorflow2.9.0 依赖包列表
环境变量
如果是root用户安装深度学习环境，普通用户执行以下命令可正常使用（依赖包路径需配置在/etc/profile中）：
nvcc -V
nvidia-smi
/root/anaconda3/bin/conda init bash
