Windows 10 下 AMD RX580 调用 Ollama GPU 加速教程
在 Windows 10 系统中,使用 AMD 经典老卡 RX580 运行 Ollama 大模型,无需复杂的 ROCm 或 CUDA 配置,借助 Ollama 内置的 Vulkan 跨平台推理后端,即可轻松实现 GPU 加速,大幅提升模型运行速度。本文以 RX580 为例,手把手教你完成配置、验证与问题排查。
Ollama 原生内置 Vulkan 推理后端,通过 OLLAMA_VULKAN=1 环境变量即可开启,完美适配 AMD 老显卡、Intel 核显等设备。
直接打开配置环境变量增加OLLAMA_VULKAN=1的配置。

Vulkan 版本满足最低 1.1 即可运行 Ollama Vulkan 后端,RX580 常规配置远超要求:
Vulkan API 版本:1.3.260
Vulkan 驱动版本:2.0.279

只要显卡驱动正常安装,无需刻意更新,即可满足运行条件。
可执行vulkaninfo命令,查看输出列表中是否出现AMD Radeon RX 580 2048SP。

打开 PowerShell 或者CMD命令执行:
轻量3B模型(首选,显存占用低)
ollama pull llama3.2:3b
ollama run llama3.2:3b
7B通用模型(日常使用)
ollama pull qwen2.5:7b
ollama run qwen2.5:7b
运行检查GPU是否被占用了,即可完成配置。


文章出处:https://www.cnblogs.com/LyShark/p/20589403
本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!

浙公网安备 33010602011771号