解决MI50在Ollama0.17.4无法运行最新的Qwen3.5模型的问题
近期qwen又新出了Qwen3.5模型,包括27B、35B的模型。这边升级ollama做了下测试,会出现如下报错:
(查看方法 1.终端执行命令:journalctl -u ollama -f 2.进行一次Qwen3.5 27B或35B模型启动,查看最新的日志)

为了确定问题,这边在LM studio中也进行了对比测试,LM中使用Vulkan后端是可以运行的说明硬件本身是支持的。但是这边下载0.17.4版本的ollama二进制包,将官方编译的Vulkan库提取拷贝到/lib/ollama下后,配置使用Vulkan后端依然报该错误无法运行。 (之前自己装过Vulkan SDK编译过,但是安装新的Vulkan SDK时会导致ubuntu系统不稳定,运行模型时经常卡死机器。这里索性偷懒用官方编译的)
经过外网相关资料查找,主要的问题在于MI50对SOLVE_TRI支持有限,特定情况下会报错。

其中solve_tri_f32_cublas()MI50的hip库中没有对应实现。
解决方法:

在ggml-cuda.cu下屏蔽掉对GGML_OP_SOLVE_TRI的支持,这样计算会转用CPU后端计算。
方法参考:
处理后,进行编译,并拷贝到指定路径,便能解决MI50在ollama下不能运行的问题。

浙公网安备 33010602011771号