【技术专题】AI大模型应用开发入门-拥抱Hugging Face与Transformers生态 - 使用Transformers加载预训练模型 - cuda，cudnn，Pytorch安装

大家好，我是锋哥。最近连载更新《AI大模型应用开发入门-拥抱Hugging Face与Transformers生态》技术专题。

本课程主要介绍和讲解Hugging Face和Transformers，包括加载预训练模型，自定义数据集，模型推理，模型微调，模型性能评估等。是AI大模型应用开发的入门必备知识。 同时也配套视频教程《AI大模型应用开发入门-拥抱Hugging Face与Transformers生态 视频教程》

我们用Pytorch运行深度学习项目，可用cpu，也可以用gpu加速。有些垂直的大模型或者是图片训练，用cpu很慢。所以我们后面学习AI大模型，都采用gpu加速训练和调用。

首先第一步，我们看下自己电脑是否有英伟达显卡，

我们可以进入任务管理器，选择性能，最底部，可以看到GPU，以及右侧可以看到显卡版本，底部可以看到显存信息。

前面我们学习过Pytorch深度学习库，这里不做多解释。

我们先来安装下cuda,

CUDA（Compute Unified Device Architecture）是由NVIDIA开发的一种并行计算架构，旨在利用NVIDIA GPU的强大计算能力来进行通用计算。它提供了一系列的开发工具、库和API，使得开发者能够在NVIDIA硬件上创建高性能的计算密集型应用程序。CUDA让开发者能够编写使用C、C++和Fortran等编程语言的代码，这些代码可以在GPU上高效运行，从而加速计算密集型任务，比如科学计算、图像处理、深度学习等。

首先，我们需要查看系统支持的最高CUDA版本。在命令行中输入nvidia-smi，查看结果中的CUDA版本信息。

我这边显示的是12.6

我们去 https://developer.nvidia.com/cuda-toolkit-archive 网址 下载对应的CUDA版本

下载后，默认安装即可。

接下来我们安装下cudnn

cuDNN（CUDA Deep Neural Network library）是NVIDIA为深度学习应用提供的高性能库。它作为CUDA的一个深度学习扩展，专门针对深度神经网络的训练和推理进行了优化。cuDNN利用GPU的并行处理能力，提供了多种深度学习中常用的操作，如卷积、池化、激活函数和归一化等。

我们去 https://developer.nvidia.com/rdp/cudnn-archive 这里下载对应CUDA的cudnn。

CUDA默认安装路径是：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6

我们把下载后的cudnn解压：

把bin，include，lib下的具体内容复制到CUDA目录下的bin，include，lib下即可。

最后我们安装下Pytorch，这里需要特别注意的是，我们安装的支持指定版本CUDA的PyTorch库。

打开 https://pytorch.org/get-started/locally/ 网址：

选择好CUDA版本，最下面自动给我们构建好安装命令：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu126

测试下是否安装成功：

import torch
print(torch.cuda.is_available())

如果返回True就表示安装成功，如果返回False，说明安装失败，建议重点检查版本匹配。