摘要：
上一篇介绍了新的ollama版本引入了新的后台llama.cpp分支，在mtp生效后，速度有了较高提升。 但是最近的发现新推理框架还有更多惊喜，通过检索工具，在git上看到一个新的llama.cpp分支，是针对gfx906定向优化的，测试qwen3.8 27b Q4_K_M不开MTP速度直接稳定到3 阅读全文
posted @ 2026-11-07 16:35
猿妙不可言
阅读(6)
评论(0)
推荐(0)
摘要：
看到github上的ollama-0.40.4-rc1更新了后端的llama.cpp到b11521，试着编译更新到本地，看看有无变化。 原有ollama0.34.0: 推理解码大概速度是18t/s左右，偶尔能蹦出20t/s，有时也能降到14t/s ollama0.40.4上： 稠密模型破天荒到了28 阅读全文
posted @ 2026-10-14 11:29
猿妙不可言
阅读(26)
评论(5)
推荐(0)
摘要：
最近忙事，很少再在自己的机器上更新模型，最近出了Qwen3.8 27B的稠密模型，评价不错，遂试试。 ollama从0.30.0之后，后端都直接换到完整的llama.cpp，这是好事。 之前用ollama恨其性能拉垮，用llama.cpp性能好了，但是与openwebui匹配不好，体验不佳，现在完美 阅读全文
posted @ 2026-08-19 15:37
猿妙不可言
阅读(108)
评论(0)
推荐(0)
摘要：
具体操作步骤如下： 下载 ubuntu-base-20.04.5-base-arm64.tar 地址 https://cdimage.ubuntu.com/ubuntu-base/releases/focal/release/ 通过WinScp拷贝到android 的termux目录下（/data/ 阅读全文
posted @ 2026-07-24 10:47
猿妙不可言
阅读(92)
评论(0)
推荐(0)
摘要：
众所周知，Android上使用的bionic库，不同于其他linux分支，通过termux，可以编译一些c、c++程序到android shell中执行，先前都试过，完全没有问题。但是把.net 发布的AOT程序用到Android shell上执行，就一下来了难度（android shell，不是a 阅读全文
posted @ 2026-07-24 10:38
猿妙不可言
阅读(56)
评论(0)
推荐(0)
摘要：
之前介绍了手机上构建linux解决AOT的发布问题，实际上，这边还做过一些其他尝试，比如使用Qemu直接在windows上模拟一份arm64环境，做AOT发布和测试，以及一个实体的RK3568主板，基于Armbian来做发布和测试。 但是Qemu的跨架构模拟，性能折损太厉害了，AOT编译时长很难满意 阅读全文
posted @ 2026-07-24 10:08
猿妙不可言
阅读(48)
评论(0)
推荐(0)
摘要：
手上之前购入一个火龙888的三星fold3，主要是用来解决开发编译问题（.net aot 发布），以及顺带带小朋友玩模拟器。 不过太忙了，除了刚购入时候试着做了些环境搭建（linux deploy、termux），试了些开发环境，后续忙工作就吃灰了。 这个无头机（无屏），首先要解决SSRM提示问题， 阅读全文
posted @ 2026-07-24 09:33
猿妙不可言
阅读(26)
评论(0)
推荐(0)
摘要：
最近碰到几次推荐MewUI，本着试一试心态，在多个软硬件环境中做了下测试。 MewUI是一个轻量的跨平台UI框架，支持AOT，（相比Avlonia声称更加轻量，使用Markup形式，不支持XAML之类的描述和可视化UI，生产体积会更小）。 这个项目目前一直在更新，在使用的时候，有些比较低级的坑需要踩 阅读全文
posted @ 2026-05-18 21:03
猿妙不可言
阅读(449)
评论(0)
推荐(5)
摘要：
关于Qwen3.6 27B启用MTP加速生成的技术讨论近期越来越多，部分测试声称有一倍的加速效果，这边也基于手头的单卡MI50（32G）做了下测试验证。 受限启用MTP需要基于特定的llama.cpp版本才能工作，地址这里提供下， am17an/llama.cpp at mtp-clean 下载后， 阅读全文
posted @ 2026-05-15 17:34
猿妙不可言
阅读(2224)
评论(1)
推荐(1)
摘要：
最近使用llama.cpp时候(b9038)，发现Qwen3.6 35B下输出速度比Ollama快出一倍（llama.cpp 79 t/s VS ollama 44t/s）。 近期和部分网友交流时发现了llama.cpp实际已经支持了模型路由（多模型切换），通过 --models-dir 参数就能实 阅读全文
posted @ 2026-05-08 20:02
猿妙不可言
阅读(215)
评论(0)
推荐(0)
浙公网安备 33010602011771号