摘要：
之前一直知道量化会对模型有影响，但是没法具体感知到差别，最近使用qwen3-vl:30b-a3b模型时，就实实在在的感知到了。 上图： （原图未打码） 阅读全文
posted @ 2025-11-27 19:49
猿妙不可言
阅读(7)
评论(0)
推荐(0)
摘要：
Open WebUI时回答完后经常会遇到新提问回答响应延迟、或输出变慢的问题，通过显卡风扇明显可以感知后台依然占用计算资源，在运行。 该问题在LM Studio上不明显，但是使用Open WebUI就会明显感觉到，主要问题在于Open WebUI在回答完成后，会后台生成标题、追问、标签等信息，这些生 阅读全文
posted @ 2025-11-27 19:38
猿妙不可言
阅读(38)
评论(0)
推荐(0)
摘要：
近期花了点时间，通过编译解决了原来停留ollama0.12.3版本不支持qwen3vl模型的问题（MI50最新只能支持到这个Ollama版本，最新0.13.0的Vulkan可用，但是是体验选项不能后台服务运行），同时也带入了较新的ROCm7的支持。解决思路提供个大家参考，部分细节需要根据思路去做源码 阅读全文
posted @ 2025-11-21 12:13
猿妙不可言
阅读(343)
评论(0)
推荐(0)
摘要：
之前使用LM Studio在ubuntu运行，32G显存只能用到一半。 调用qwen3 32B模型时，在rocm-smi中只能观察到49%的占用，其余的不足部分会载入到内存中，这样模型输出会很慢很慢。 B站中询问时，也有人遇到这个问题。 这边在Reddit上找到了答案，那就是rom的问题，原生自带的 阅读全文
posted @ 2025-11-21 11:59
猿妙不可言
阅读(64)
评论(0)
推荐(0)
摘要：
上期在ROCm7.0.2上编译llama.cpp通过了，并成功运行起来了。 命令： ./llama-server -m ~/.lmstudio/models/huihui-ai/Huihui-Qwen3-VL-32B-Thinking-abliterated/ggml-model-Q4_K_M.gg 阅读全文
posted @ 2025-11-19 10:14
猿妙不可言
阅读(83)
评论(0)
推荐(0)
摘要：
关于网上传言MI50 ROCm7.0.2的性能提升了，这边做了下测试。 ROCm7.0.2安装方法: ROCm 7.0 Install for Mi50 32GB | Ubuntu 24.04 LTS : r/LocalLLaMA 这边系统使用的ubuntu22.04 ROCm安装 wget htt 阅读全文
posted @ 2025-11-15 16:47
猿妙不可言
阅读(292)
评论(0)
推荐(0)
摘要：
之前做过AI大模型搭建，想将搭建的访问能开放到外部局域网，方便其他人访问，需要一些网络设置，就在这个网络配置上踩了些坑。 想在最外局域网中访问，但是自己这边用了两级的路由，第一级是小米的无线路由，以及上一级让r2s软路由（OpenWrt系统）。 本来应该路由端口映射就行，小米的傻瓜路由配置下就通过了 阅读全文
posted @ 2025-11-14 20:09
猿妙不可言
阅读(28)
评论(0)
推荐(0)
摘要：
关于MI50的风扇控制问题，之前很长一段时间都是win上使用，主要是win上解决了MI50风扇控制问题，使用Fan-Control软件+HWInfo解决。在windows下有很多处理风扇控制的成熟方案，主要是win下驱动问题比较好解决，部分linux下驱动缺失问题就比较麻烦。 以本人机器为例： 主 阅读全文
posted @ 2025-11-14 20:02
猿妙不可言
阅读(65)
评论(0)
推荐(0)
浙公网安备 33010602011771号