2026年1月
llama.cpp载入Qwen3 30B VL模型（linux MI50下）
摘要： 最近更新了下llama.cpp的版本，使用了b7710，也尝试在rocm7.1.1下编译，编译也能通过（参考之前的文章） 但是之前启动VL模型时一直没有图片选项，发现是没有加载多模态部分guff，同时尝试时也遇到一些坑。 这边一直在linux下使用LM studio，除了模型尝鲜测试外（比ollam 阅读全文
posted @ 2026-01-15 12:07 猿妙不可言 阅读(137) 评论(0) 推荐(0)
AMD Instinct MI50 在ROCm7.1.1下编译运行llama.cpp、ollama
摘要： 今天去amd官网闲逛，发现MI50的驱动居然已经更新到了7.1.1，心情激动了下，立马下载安装的试试，结果是一波三折。 下载文件： amdgpu-install_7.1.1.70101-1_all.deb 安装 sudo apt install ./amdgpu-install_7.1.1.7010 阅读全文
posted @ 2026-01-06 20:44 猿妙不可言 阅读(289) 评论(0) 推荐(0)
2025年11月
关于量化对模型表现的影响
摘要： 之前一直知道量化会对模型有影响，但是没法具体感知到差别，最近使用qwen3-vl:30b-a3b模型时，就实实在在的感知到了。 上图： （原图未打码） 阅读全文
posted @ 2025-11-27 19:49 猿妙不可言 阅读(25) 评论(0) 推荐(0)
Open WebUI大模型输出完成后新对话响应延迟、输出变慢问题
摘要： Open WebUI时回答完后经常会遇到新提问回答响应延迟、或输出变慢的问题，通过显卡风扇明显可以感知后台依然占用计算资源，在运行。 该问题在LM Studio上不明显，但是使用Open WebUI就会明显感觉到，主要问题在于Open WebUI在回答完成后，会后台生成标题、追问、标签等信息，这些生 阅读全文
posted @ 2025-11-27 19:38 猿妙不可言 阅读(103) 评论(0) 推荐(0)
编译Ollama支持AMD Instinct MI50显卡，并调用ROCm7.0.2，实现Qwen3 VL模型支持
摘要： 近期花了点时间，通过编译解决了原来停留ollama0.12.3版本不支持qwen3vl模型的问题（MI50最新只能支持到这个Ollama版本，最新0.13.0的Vulkan可用，但是是体验选项不能后台服务运行），同时也带入了较新的ROCm7的支持。解决思路提供个大家参考，部分细节需要根据思路去做源码 阅读全文
posted @ 2025-11-21 12:13 猿妙不可言 阅读(860) 评论(0) 推荐(0)
AMD Instinct MI50 32G显卡ubuntu下使用LMStudio只能使用到一半显存的问题解决方法
摘要： 之前使用LM Studio在ubuntu运行，32G显存只能用到一半。 调用qwen3 32B模型时，在rocm-smi中只能观察到49%的占用，其余的不足部分会载入到内存中，这样模型输出会很慢很慢。 B站中询问时，也有人遇到这个问题。 这边在Reddit上找到了答案，那就是rom的问题，原生自带的 阅读全文
posted @ 2025-11-21 11:59 猿妙不可言 阅读(136) 评论(0) 推荐(0)
llama.cpp指定GPU运行解决rocm调用报错
摘要： 上期在ROCm7.0.2上编译llama.cpp通过了，并成功运行起来了。 命令： ./llama-server -m ~/.lmstudio/models/huihui-ai/Huihui-Qwen3-VL-32B-Thinking-abliterated/ggml-model-Q4_K_M.gg 阅读全文
posted @ 2025-11-19 10:14 猿妙不可言 阅读(297) 评论(0) 推荐(0)
AMD Instinct MI50 通过llama.cpp 在 ROCm7.0.2上运行
摘要： 关于网上传言MI50 ROCm7.0.2的性能提升了，这边做了下测试。 ROCm7.0.2安装方法: ROCm 7.0 Install for Mi50 32GB | Ubuntu 24.04 LTS : r/LocalLLaMA 这边系统使用的ubuntu22.04 ROCm安装 wget htt 阅读全文
posted @ 2025-11-15 16:47 猿妙不可言 阅读(679) 评论(0) 推荐(0)
OpenWrt路由的端口映射问题
摘要： 之前做过AI大模型搭建，想将搭建的访问能开放到外部局域网，方便其他人访问，需要一些网络设置，就在这个网络配置上踩了些坑。 想在最外局域网中访问，但是自己这边用了两级的路由，第一级是小米的无线路由，以及上一级让r2s软路由（OpenWrt系统）。 本来应该路由端口映射就行，小米的傻瓜路由配置下就通过了 阅读全文
posted @ 2025-11-14 20:09 猿妙不可言 阅读(86) 评论(0) 推荐(0)
AMD Instinct MI50 在ubuntu下风扇控制实现
摘要： 关于MI50的风扇控制问题，之前很长一段时间都是win上使用，主要是win上解决了MI50风扇控制问题，使用‌Fan-Control软件+HWInfo解决。在windows下有很多处理风扇控制的成熟方案，主要是win下驱动问题比较好解决，部分linux下驱动缺失问题就比较麻烦。 以本人机器为例： 主 阅读全文
posted @ 2025-11-14 20:02 猿妙不可言 阅读(126) 评论(0) 推荐(0)
下一页