支持 CUDA 的 linux 版本 llama.cpp 编译教程

首先确保 linux 系统已安装过 cuda，输入如下命令验证：

nvcc --version

以我的编译环境为例，输入结果如下：

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Fri_Feb_21_20:23:50_PST_2025
Cuda compilation tools, release 12.8, V12.8.93
Build cuda_12.8.r12.8/compiler.35583870_0

可以看出当前的cuda版本为 12.8 。接下来拉取 llama.cpp 源码：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

然后在仓库路径下创建一个 build 文件夹用于盛放编译结果：

mkdir build && cd build

之后输入如下命令配置 cmake ：

cmake .. -DGGML_CUDA=ON -DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc

开始编译：

cmake --build . --config Release -j $(nproc)

编译完成后，可执行文件会生成在 build/bin/ 目录下。接下来可以将编译结果打包：

tar -czvf llama-bin-linux-cuda-12.8-x86_64.tar.gz -C bin .

将 llama-bin-linux-cuda-12.8-x86_64.tar.gz 取出即可。点击此链接可以下载编译成品。