摘要：
近期qwen又新出了Qwen3.5模型，包括27B、35B的模型。这边升级ollama做了下测试，会出现如下报错： 为了确定问题，这边在LM studio中也进行了对比测试，LM中使用Vulkan后端是可以运行的说明硬件本身是支持的。但是这边下载0.17.4版本的ollama二进制包，将官方编译的V 阅读全文
posted @ 2026-02-28 19:23
猿妙不可言
阅读(135)
评论(1)
推荐(0)
摘要：
最近更新了下llama.cpp的版本，使用了b7710，也尝试在rocm7.1.1下编译，编译也能通过（参考之前的文章） 但是之前启动VL模型时一直没有图片选项，发现是没有加载多模态部分guff，同时尝试时也遇到一些坑。 这边一直在linux下使用LM studio，除了模型尝鲜测试外（比ollam 阅读全文
posted @ 2026-01-15 12:07
猿妙不可言
阅读(262)
评论(0)
推荐(0)
摘要：
今天去amd官网闲逛，发现MI50的驱动居然已经更新到了7.1.1，心情激动了下，立马下载安装的试试，结果是一波三折。 下载文件： amdgpu-install_7.1.1.70101-1_all.deb 安装 sudo apt install ./amdgpu-install_7.1.1.7010 阅读全文
posted @ 2026-01-06 20:44
猿妙不可言
阅读(431)
评论(0)
推荐(0)
摘要：
之前一直知道量化会对模型有影响，但是没法具体感知到差别，最近使用qwen3-vl:30b-a3b模型时，就实实在在的感知到了。 上图： （原图未打码） 阅读全文
posted @ 2025-11-27 19:49
猿妙不可言
阅读(29)
评论(0)
推荐(0)
摘要：
Open WebUI时回答完后经常会遇到新提问回答响应延迟、或输出变慢的问题，通过显卡风扇明显可以感知后台依然占用计算资源，在运行。 该问题在LM Studio上不明显，但是使用Open WebUI就会明显感觉到，主要问题在于Open WebUI在回答完成后，会后台生成标题、追问、标签等信息，这些生 阅读全文
posted @ 2025-11-27 19:38
猿妙不可言
阅读(143)
评论(0)
推荐(0)
摘要：
近期花了点时间，通过编译解决了原来停留ollama0.12.3版本不支持qwen3vl模型的问题（MI50最新只能支持到这个Ollama版本，最新0.13.0的Vulkan可用，但是是体验选项不能后台服务运行），同时也带入了较新的ROCm7的支持。解决思路提供个大家参考，部分细节需要根据思路去做源码 阅读全文
posted @ 2025-11-21 12:13
猿妙不可言
阅读(1091)
评论(0)
推荐(0)
摘要：
之前使用LM Studio在ubuntu运行，32G显存只能用到一半。 调用qwen3 32B模型时，在rocm-smi中只能观察到49%的占用，其余的不足部分会载入到内存中，这样模型输出会很慢很慢。 B站中询问时，也有人遇到这个问题。 这边在Reddit上找到了答案，那就是rom的问题，原生自带的 阅读全文
posted @ 2025-11-21 11:59
猿妙不可言
阅读(176)
评论(0)
推荐(0)
摘要：
上期在ROCm7.0.2上编译llama.cpp通过了，并成功运行起来了。 命令： ./llama-server -m ~/.lmstudio/models/huihui-ai/Huihui-Qwen3-VL-32B-Thinking-abliterated/ggml-model-Q4_K_M.gg 阅读全文
posted @ 2025-11-19 10:14
猿妙不可言
阅读(395)
评论(0)
推荐(0)
摘要：
关于网上传言MI50 ROCm7.0.2的性能提升了，这边做了下测试。 ROCm7.0.2安装方法: ROCm 7.0 Install for Mi50 32GB | Ubuntu 24.04 LTS : r/LocalLLaMA 这边系统使用的ubuntu22.04 ROCm安装 wget htt 阅读全文
posted @ 2025-11-15 16:47
猿妙不可言
阅读(948)
评论(0)
推荐(0)
摘要：
之前做过AI大模型搭建，想将搭建的访问能开放到外部局域网，方便其他人访问，需要一些网络设置，就在这个网络配置上踩了些坑。 想在最外局域网中访问，但是自己这边用了两级的路由，第一级是小米的无线路由，以及上一级让r2s软路由（OpenWrt系统）。 本来应该路由端口映射就行，小米的傻瓜路由配置下就通过了 阅读全文
posted @ 2025-11-14 20:09
猿妙不可言
阅读(103)
评论(0)
推荐(0)
浙公网安备 33010602011771号