解决MI50在Ollama0.17.4无法运行最新的Qwen3.5模型的问题

近期qwen又新出了Qwen3.5模型,包括27B、35B的模型。这边升级ollama做了下测试,会出现如下报错:

(查看方法  1.终端执行命令:journalctl -u ollama -f          2.进行一次Qwen3.5 27B或35B模型启动,查看最新的日志)

 image

 

为了确定问题,这边在LM studio中也进行了对比测试,LM中使用Vulkan后端是可以运行的说明硬件本身是支持的。但是这边下载0.17.4版本的ollama二进制包,将官方编译的Vulkan库提取拷贝到/lib/ollama下后,配置使用Vulkan后端依然报该错误无法运行。 (之前自己装过Vulkan SDK编译过,但是安装新的Vulkan SDK时会导致ubuntu系统不稳定,运行模型时经常卡死机器。这里索性偷懒用官方编译的)

 

经过外网相关资料查找,主要的问题在于MI50对SOLVE_TRI支持有限,特定情况下会报错。

image

 其中solve_tri_f32_cublas()MI50的hip库中没有对应实现。

解决方法:

image

 在ggml-cuda.cu下屏蔽掉对GGML_OP_SOLVE_TRI的支持,这样计算会转用CPU后端计算。

方法参考:

HIP: SOLVE_TRI falls back to rocBLAS strsm which fails on gfx906 (MI50) - suggest extending custom kernel · Issue #19972 · ggml-org/llama.cpp

 

处理后,进行编译,并拷贝到指定路径,便能解决MI50在ollama下不能运行的问题。

 

image

 

posted @ 2026-02-28 19:23  猿妙不可言  阅读(1483)  评论(3)    收藏  举报