11 2025 档案

关于量化对模型表现的影响
摘要：之前一直知道量化会对模型有影响，但是没法具体感知到差别，最近使用qwen3-vl:30b-a3b模型时，就实实在在的感知到了。 上图： （原图未打码） 阅读全文
posted @ 2025-11-27 19:49 猿妙不可言 阅读(7) 评论(0) 推荐(0)
Open WebUI大模型输出完成后新对话响应延迟、输出变慢问题
摘要：Open WebUI时回答完后经常会遇到新提问回答响应延迟、或输出变慢的问题，通过显卡风扇明显可以感知后台依然占用计算资源，在运行。 该问题在LM Studio上不明显，但是使用Open WebUI就会明显感觉到，主要问题在于Open WebUI在回答完成后，会后台生成标题、追问、标签等信息，这些生 阅读全文
posted @ 2025-11-27 19:38 猿妙不可言 阅读(39) 评论(0) 推荐(0)
编译Ollama支持AMD Instinct MI50显卡，并调用ROCm7.0.2，实现Qwen3 VL模型支持
摘要：近期花了点时间，通过编译解决了原来停留ollama0.12.3版本不支持qwen3vl模型的问题（MI50最新只能支持到这个Ollama版本，最新0.13.0的Vulkan可用，但是是体验选项不能后台服务运行），同时也带入了较新的ROCm7的支持。解决思路提供个大家参考，部分细节需要根据思路去做源码 阅读全文
posted @ 2025-11-21 12:13 猿妙不可言 阅读(343) 评论(0) 推荐(0)
AMD Instinct MI50 32G显卡ubuntu下使用LMStudio只能使用到一半显存的问题解决方法
摘要：之前使用LM Studio在ubuntu运行，32G显存只能用到一半。 调用qwen3 32B模型时，在rocm-smi中只能观察到49%的占用，其余的不足部分会载入到内存中，这样模型输出会很慢很慢。 B站中询问时，也有人遇到这个问题。 这边在Reddit上找到了答案，那就是rom的问题，原生自带的 阅读全文
posted @ 2025-11-21 11:59 猿妙不可言 阅读(64) 评论(0) 推荐(0)
llama.cpp指定GPU运行解决rocm调用报错
摘要：上期在ROCm7.0.2上编译llama.cpp通过了，并成功运行起来了。 命令： ./llama-server -m ~/.lmstudio/models/huihui-ai/Huihui-Qwen3-VL-32B-Thinking-abliterated/ggml-model-Q4_K_M.gg 阅读全文
posted @ 2025-11-19 10:14 猿妙不可言 阅读(83) 评论(0) 推荐(0)
AMD Instinct MI50 通过llama.cpp 在 ROCm7.0.2上运行
摘要：关于网上传言MI50 ROCm7.0.2的性能提升了，这边做了下测试。 ROCm7.0.2安装方法: ROCm 7.0 Install for Mi50 32GB | Ubuntu 24.04 LTS : r/LocalLLaMA 这边系统使用的ubuntu22.04 ROCm安装 wget htt 阅读全文
posted @ 2025-11-15 16:47 猿妙不可言 阅读(294) 评论(0) 推荐(0)
OpenWrt路由的端口映射问题
摘要：之前做过AI大模型搭建，想将搭建的访问能开放到外部局域网，方便其他人访问，需要一些网络设置，就在这个网络配置上踩了些坑。 想在最外局域网中访问，但是自己这边用了两级的路由，第一级是小米的无线路由，以及上一级让r2s软路由（OpenWrt系统）。 本来应该路由端口映射就行，小米的傻瓜路由配置下就通过了 阅读全文
posted @ 2025-11-14 20:09 猿妙不可言 阅读(28) 评论(0) 推荐(0)
AMD Instinct MI50 在ubuntu下风扇控制实现
摘要：关于MI50的风扇控制问题，之前很长一段时间都是win上使用，主要是win上解决了MI50风扇控制问题，使用‌Fan-Control软件+HWInfo解决。在windows下有很多处理风扇控制的成熟方案，主要是win下驱动问题比较好解决，部分linux下驱动缺失问题就比较麻烦。 以本人机器为例： 主 阅读全文
posted @ 2025-11-14 20:02 猿妙不可言 阅读(65) 评论(0) 推荐(0)