Inkling 2 Mini 高性价比硬件选型:二手显卡 / AMD 统一内存机 / 苹果二手机器
写作时点:2026-11-21(北京时间) 选型对象:Thinking Machines Lab 的 Inkling 2 Mini(26.4B MoE,激活 3.4B,循环后有效 5.4B,Apache 2.0) 约束条件:二手显卡优先、AMD 系设备优先、苹果二手机器 数据来源:Thinking Machines 官方发布页、Unsloth 量化表与运行指南、ToolMintX 显存测算(2026-11-21)、rigprice.com 与 eefly.online 二手行情(2026-11 中旬)、llm-bench.io / llamaperf.com 实测库、Apple Newsroom 2026-08-25
一、先记住三个硬约束(决定后面所有选型)
| # | 约束 | 数值 | 影响 |
|---|---|---|---|
| 1 | 原生权重大小 | 约 20GB(NVFP4 + 末 4 层 MXFP8) | 想「原生精度」跑,机器必须有 ≥24GB 可用显存/统一内存,且还要留 KV 空间 |
| 2 | KV cache = 32 KiB/token | 循环使全局注意力层从 4 层变 8 层缓存;1M 上下文 = 32GiB | ⚠️ 比常规估算贵一倍,长上下文必须按这个数留余量 |
| 3 | 上游 llama.cpp 不支持循环架构 | 需 Unsloth 定制构建 b12568-mix-8eebad4 或新版 Ollama |
否则报 "Unknown architecture";AMD 平台同样受此限制 |
Unsloth 官方给出的量化档与建议内存(这是所有选型的锚点):
| 量化档 | GGUF 体积 | 官方建议内存 | 定位 |
|---|---|---|---|
| UD-IQ1_S | 7.76 GB | 9 GB | 质量损失大,仅测试 |
| UD-Q2_K_XL | 9.14 GB | 10–11 GB | 可用 |
| UD-IQ3_XXS / UD-Q3_K_XL | 11.7 / 13.6 GB | 13–15 GB | 短上下文可用 |
| UD-Q4_K_M / UD-Q4_K_XL | 16.6 / 17.6 GB | 17–18 GB | ✅ 甜区(对 Q8 的 top-token 一致性 97.9%–98.0%) |
| UD-Q8_K_XL | 22.87 GB | 24 GB | 近无损,但 24GB 卡基本塞不下 |
二、候选方案横向对比
| 方案 | 代表配置 | 参考到手价 | 预计生成速度* | 能否跑原生 20GB | 一句话评价 |
|---|---|---|---|---|---|
| A. 二手 N 卡单卡 | RTX 3090 24GB | ¥8,000–9,000(闲鱼中位 ¥8,999) | 45–65 t/s | ❌ 放不下+KV | 速度/折腾成本最优,矿卡风险最高 |
| A'. 二手 A 卡单卡 | RX 7900 XTX 24GB | ¥4,300–6,300(¥6,299 中位,最低 ¥4,299) | 40–60 t/s | ❌ | 每元显存最强,但要吃 ROCm/Vulkan 折腾税 |
| B. AMD 统一内存整机 | AI MAX+ 395 / 128GB 迷你机 | 全新 ¥21,000–26,000;二手约 ¥15,000–20,000 | 15–25 t/s | ✅ | 静音省电、容量最大、可多模型驻留;速度垫底 |
| C. 苹果二手机器 | Mac Studio M4 Max 128GB | 闲鱼中位 ¥34,800 | 40–60 t/s | ✅ | 带宽是 B 的两倍、安静、生态成熟;最贵 |
| C'. 苹果二手(低配) | Mac mini M4 24GB / MacBook Pro 48GB | 远低于 Studio | 短上下文可用 | ⚠️ 48GB 才能跑原生 | 只在已有设备时才成立 |
* 速度为区间估计,非针对 Inkling 2 Mini 的一手实测(该模型尚无公开的逐硬件实测)。推算依据见第四节。
三、方案 A:二手 NVIDIA 显卡
A1. 首选 RTX 3090 24GB
| 项目 | 数据 | 来源 |
|---|---|---|
| 规格 | GA102 / 10496 CUDA / 24GB GDDR6X / 384-bit / 936 GB/s / 350W | 公开规格 |
| 二手行情 | 闲鱼中位 ¥8,999(区间 ¥8,388–9,800);店保好成色 ¥4,800–5,000;无保矿卡 ¥3,999–4,500 | eefly.online(2026-11)、Jawa |
| 海外对照 | eBay 中位约 $1,948、Jawa 成交中位 $1,300 | rigprice / Jawa(2026-11-02 更新) |
能跑什么(对照社区 llama.cpp 实测口径):
| 模型量级 | 量化 | 占用 | 速度 |
|---|---|---|---|
| 7–8B | Q4_K_M ~4.1GB | <8GB | 70–90 t/s |
| 13–14B | Q4 ~8GB | ~12GB | 45–60 t/s |
| 30–32B(甜点上限) | Q4_K_M ~20GB | ~20GB,留 3–4GB 给 KV | 22–28 t/s |
| 70B | IQ2 ~33GB | 爆显存,需卸载 | 3–6 t/s(不建议) |
对 Inkling 2 Mini:Q4 档 17.6GB + 160MiB 窗口缓存 + KV,24GB 卡可开约 14 万 token 上下文(ToolMintX 按 15% 安全余量测算),社区同类 MoE(35B-A3B)在这张卡上跑到 22–28 t/s。循环会让每 token 的实际计算变重,实际值应低于同尺寸稠密模型。
⚠️ 3090 的三个坑: 1. 矿卡比例极高——3090 经历完整矿潮。验货三板斧:GPU-Z 看显存颗粒批次、OCCT 显存测试跑满一轮(报错一票否决)、FurMark 烤 15 分钟看结温(超 90℃ 警惕)。背板油渍、金手指发黑/烧黑直接退。 2. 功耗 350W(实测长推理 380–420W)——电源建议 850W 金牌,12V 扛不住会掉电重启。 3. 驱动进入 legacy 支持模式,新 llama.cpp 特性优先新架构;且没有原生 FP8(NVFP4 更不用想),只能用 GGUF 量化版。
A2. 同价位替代
| 卡 | 显存/带宽 | 参考价 | 判断 |
|---|---|---|---|
| RTX 4070 Ti SUPER 16GB | 16GB / 736 GB/s | 全新 ¥6,500–6,900 | ⚠️ 装不下 Q4 的 17.6GB,只能降到 IQ3_XXS,天花板被锁死 |
| RTX 5060 Ti 16GB | 16GB / 448 GB/s | 全新 ¥4,600–5,500 | 同上,且 128-bit 位宽带宽偏低 |
| RTX 4090 24GB | 24GB / 1,008 GB/s | 二手 ¥18,000–26,000 | 快 1.3 倍但价格翻倍,「每 GB 显存」不划算 |
| RTX A4000 16GB | 16GB | 二手约 ¥1,000($1,000) | 涡轮卡、长寿命设计,但 16GB 不够本模型甜区 |
结论:NVIDIA 阵营里,想要 24GB 又控预算,3090 是唯一答案;想要省心保修就加钱上全新 16GB 卡并接受量化降级。
四、方案 A':二手 AMD 独立显卡(性价比优先时的最强候选)
RX 7900 XTX 24GB
| 项目 | 数据 |
|---|---|
| 规格 | RDNA 3 / 24GB GDDR6 / 96 MB Infinity Cache / 384-bit / 约 960 GB/s |
| 二手行情 | 闲鱼中位 ¥6,299,最低 ¥4,299,最高 ¥7,100(样本 17) |
| 海外对照 | RigPrice 在售中位约 $1,450(2026-11-14) |
| 实测吞吐 | Qwen3.8-27B Q4_K_XL = 71.3–74.4 t/s(llm-bench.io,2026-09-05,llama.cpp);IQ3_XXS 档 58–61 t/s |
| 长上下文 | 双 7900 XTX 解耦实例跑 Qwen3.8-27B 114K 代码任务:单卡 decode 27.7 t/s、双卡聚合 80.6 t/s |
为什么它是「性价比优先」下的最优解: - 同样 24GB,比 3090 便宜约 ¥2,700(中位口径)甚至 ¥4,700(低位口径),但速度在同一量级。 - 24GB 容量让 Q4_K_XL(17.6GB)+ KV 有充足余量。
⚠️ AMD 卡的四个代价: 1. 没有 NVFP4,只能走 GGUF 量化版——对 Inkling 2 Mini 反而是唯一路径,不算额外损失。 2. ROCm 在 Windows 上覆盖有限,Linux 体验更完整;llama.cpp 用 Vulkan 后端往往比 ROCm 更稳(多个 Strix Halo 实测都指向这一点)。 3. 循环架构需要 Unsloth 定制 llama.cpp 构建,AMD 上能不能顺利吃到要自己试。 4. Infinity Cache 帮不上 LLM 解码(瓶颈是 HBM 带宽,不是缓存命中)。
其他 AMD 卡
| 卡 | 显存 | 判断 |
|---|---|---|
| RX 7900 XT 20GB | 20GB | 差一点:Q4_K_XL 17.6GB + KV 会非常紧,只能降到 Q3 |
| RX 7800 XT / RX 9070 XT 16GB | 16GB | 只能 IQ3_XXS,天花板受限 |
| RX 6900 XT 16GB | 16GB | RDNA2,ROCm 支持一般,不推荐 |
五、方案 B:AMD 统一内存设备(AI MAX+ 395 / Strix Halo)
关键澄清:NPU 不参与大模型推理
⚠️ 这是最常见的选购误解。截至 2026 年中,Ollama / llama.cpp / LM Studio 都把 LLM 负载跑在 Radeon GPU 上,XDNA 2 NPU 不参与。 NPU 的 ~50 TOPS(整颗处理器合计口径 126 TOPS)只用于视频超分、图像分类等固定算子任务,不能拿它来评估本地模型能力。
真正干活的是 Radeon 8060S 核显 + 128GB LPDDR5X 统一内存。
平台规格
| 项目 | 数据 |
|---|---|
| CPU | 16 核 Zen 5(3.0GHz 基础 / 5.1GHz 加速) |
| GPU | Radeon 8060S,40 CU / 2560 SP / RDNA 3.5 |
| NPU | XDNA 2,~50 TOPS(LLM 用不上) |
| 内存 | 128GB LPDDR5X-8000,256-bit,理论带宽约 256 GB/s |
| 可分配显存 | Windows 可变显存上限 96GB;Linux 通过 amdgpu.gttsize / ttm.pages_limit 可达 110–120GB |
| TDP | 默认 55W,可配置 45–120W(整机厂决定实际散热上限) |
| 内存 | 板载不可升级,买定离手 |
机型与价格
| 机型 | 128GB 全新价 | 特点 | 备注 |
|---|---|---|---|
| 铭凡 MS-S1 MAX | 京东 ¥24,999 | 双 10GbE、USB4 v2 ×2、PCIe x4 扩展槽(不支持独显)、320W 内置电源 | 扩展性最好 |
| 铭凡 N5 MAX | 天猫 ¥15,999.9 | 万兆网口、NAS 取向 | 价格最低 |
| 阿迈奇 M1A Pro+ | 京东 ¥20,999–21,799 | 128G + 2TB | — |
| GMKtec EVO-X2 | 美亚 $3,499.99 | 最早上市的标杆机型 | 海外价 |
| Minisforum MS-S1 Max | 美亚 $3,959 | — | — |
| Framework Desktop | DIY $3,449(不含 SSD) | Linux 友好、可维修 | 长期缺货 |
| 二手行情 | 约 ¥15,000–20,000(估) | 闲鱼未见稳定中位价,建议按同配置全新价 6–7 折询价 | ⚠️ 估算值,需自行核实 |
速度参照(Q4 类量化)
| 模型 | 内存占用 | 引用速度 | 来源 |
|---|---|---|---|
| gpt-oss-120b(MoE,激活 ~5B) | ~64GB | ~52–56 t/s | llama.cpp Vulkan |
| gpt-oss-120b(同上,LM Studio 默认可开箱) | ~64GB | 31.41 t/s | ServeTheHome(GTR9 Pro 实测) |
| Qwen3 32B(dense) | ~20GB | ~8–12 t/s | 社区共识 |
| Qwen3.8-27B(GSQ IQ3_S,12.12GB) | 12.1GB | 16.1 t/s(开 MTP 28.8 t/s) | Kingy 实测,RigBase 收录(128GB 版,Ubuntu,Vulkan) |
| Llama 3.3 70B(dense) | ~40GB | 4.89–6 t/s | 带宽瓶颈 |
对 Inkling 2 Mini 的推算:同为 MoE、激活量级相近(5.4B vs 3B),但循环使每 token 计算更重。合理预期落在 15–25 t/s 区间,短上下文偏高、长上下文偏低。⚠️ 目前没有针对该模型的公开实测,请以实跑为准。
榨干性能的调优清单(社区共识)
| 项 | 建议 |
|---|---|
| 系统 | 优先 Ubuntu/Linux:可给 GPU 分配 110–120GB,Windows 封顶 96GB |
| 设备标识 | Linux 下确认 gfx1151,否则 Ollama/llama.cpp 会掉回 CPU-only,吞吐减半 |
| 框架 | llama.cpp + Vulkan 后端;Windows ML / ORT GenAI 首 token 更慢 |
| 参数 | -ngl 99 --flash-attn -c 16384 --cache-type-k q8_0 --cache-type-v q8_0 -t 16 -tb 16 --mlock |
| UMA Buffer | BIOS 拉到 32GB |
| TDP | 用 RyzenAdj 把 STAPM/PPT 拉到 120W 上限(默认偏低,几分钟后 GPU 降频) |
| 电源计划 | Windows 切「高性能」 |
| 虚拟内存 | 页面文件设到 64GB 以上,避免高位内存回收导致卡顿 |
| 避坑 | Ollama 加载失败时用 llama.cpp --no-mmap 绕开 Windows 显存映射问题 |
六、方案 C:苹果二手机器
官方门槛与平台规格
官方原文:At launch we support Inkling 2 Mini running on any Mac system (MacBook, Mac Mini) with at least 32GB RAM via Ollama.
| 芯片 | 统一内存 | 带宽 | 判断 |
|---|---|---|---|
| M5 Ultra(现款) | 最高 512GB | 1.2 TB/s | 带宽是 AMD 统一内存方案的 4.7 倍;Thunderbolt 5 可多机集群,分布式推理最高约 3 倍 |
| M5 Max(现款) | 最高 128GB | 最高 614 GB/s | 原生 20GB 权重 + 长上下文都宽裕 |
| M4 Max(2025 款,已停售) | 最高 128GB | 546 GB/s(仅 40 核 GPU 版;32 核版只有 410 GB/s) | ✅ 二手主力 |
| M3 Ultra(2025 款) | 96–512GB | 819 GB/s | 96GB 够用,128GB 是舒适区 |
⚠️ 购买时必须确认 GPU 核心数:M4 Max 的 128GB 版本只随 40 核 GPU 提供(546 GB/s);32 核版只有 410 GB/s,生成慢约 25%。二手挂单常只写「M4 Max」,务必在「关于本机」里核对。
价格(2026-11)
| 渠道 | 配置 | 价格 | 来源 |
|---|---|---|---|
| 闲鱼(vramglass 统计) | Mac Studio M4 Max 128GB | 中位 ¥34,800 | vramglass.com(近 7 天) |
| 闲鱼 | Mac Studio M5 Max 128GB | ¥40,226 | 同上 |
| 闲鱼 | DGX Spark 128GB | ¥18,299(对照) | 同上 |
| eBay / macfax | Mac Studio M3 Ultra 96GB/1TB | 挂单 $3,950–4,790,典型中位约 $5,750 | macfax(2026-11-19) |
| 台湾收购价(折人民币约) | M2 Ultra 128GB | NT$64,000 ≈ ¥14,300 | 台湾独立维修中心回收表 |
注意:苹果二手机的「异地差价」很大——海外 M2/M3 Ultra 128GB 的回收/挂单价折算人民币明显低于国行闲鱼。⚠️ 但跨境购机涉及保修、电压、键盘布局与运输风险,不建议作为首选路径,此处仅作价格参照。
速度参照
| 模型 | 速度 | 来源 |
|---|---|---|
| Qwen3.8-27B(2-bit) | M4 Max 128GB 39.3 t/s vs M5 Max 43.9 t/s vs DGX Spark 20.2 t/s vs AI MAX+ 395 19 t/s | vramglass 对比表 |
| Mistral Medium 3.5 128B(4-bit,70GB) | M3 Ultra 128GB:短 prompt 24.1 t/s,32K 输入降至 15.8 t/s,128K 预填约 3 分钟 | SpecPicks 公开基准复现 |
| Qwen3.6 35B-A3B(MoE,36.9GB) | M4 Max 128GB 约 108 t/s | vramglass 估算 |
| Qwen3.8 Flash Next 176B(4-bit,111.3GB) | 需手动抬高 GPU 内存限额后才可加载 | 同上 |
对 Inkling 2 Mini:M4 Max 128GB 的 546 GB/s 是 AI MAX+ 395 的两倍多,Q4 档(17.6GB)在这台机器上完全谈不上容量压力。合理预期 40–60 t/s(视上下文长度与运行时差异较大)。
必做的三件事
- 抬高 GPU 内存限额:macOS 默认只给 GPU 约 96GB,超 100GB 的模型直接装不进。终端执行
sudo sysctl iogpu.wired_limit_mb=122880(128GB 机器留 8–16GB 给系统)。⚠️ 该设置重启后失效,需重新执行。 - 选对引擎:MLX 明显快于 llama.cpp(Metal),LM Studio 两者都内置可按模型切换;Ollama 从 0.19 版起在 Apple 芯片上加了 MLX 引擎。
- 确认不是 binned 芯片(见上)。
⚠️ 苹果的短板:没有 CUDA,vLLM/SGLang/基于 CUDA 的微调工具都用不了;长 prompt 预填速度不如 DGX Spark;高负载时风扇会明显可闻(有用户报告 1,700 rpm)。
七、速度怎么来的:一个可用的粗算方法
LLM 单流解码速度主要由带宽决定,可近似用「每 token 需读取的激活权重字节数 ÷ 带宽」估:
t/s ≈ 带宽(GB/s) ÷ (每 token 实际读取字节数 / 1e9)
对本模型:激活 5.4B(Q4 量化约 2.7GB/token)→ 理论上界很高,实际受内核效率、KV、循环开销拖累。
| 平台 | 带宽 | 实测锚点(同类 MoE/27B 级) | 对本模型的推算 |
|---|---|---|---|
| RTX 3090 | 936 GB/s | 30–32B Q4 实测 22–28 t/s | 45–65 t/s(循环拖累,取中低段) |
| RX 7900 XTX | ~960 GB/s | Qwen3.8-27B Q4 实测 71–74 t/s | 40–60 t/s |
| Mac Studio M4 Max 128GB | 546 GB/s | Qwen3.8-27B 2-bit 39.3 t/s | 40–60 t/s |
| AI MAX+ 395 128GB | 256 GB/s | Qwen3.8-27B GSQ IQ3_S 16.1 t/s | 15–25 t/s |
| DGX Spark 128GB | 273 GB/s | Qwen3.8-27B 2-bit 20.2 t/s | (不在本次选型范围,仅对照) |
⚠️ 上表是数量级参考,不是承诺值。同一模型在不同运行时(llama.cpp vs MLX vs vLLM)、不同 KV 精度、不同上下文长度下能差 30–50%。
八、最终推荐(按你的约束排序)
| 预算区间 | 推荐 | 理由 | 主要代价 |
|---|---|---|---|
| ¥4,500–6,500 | 二手 RX 7900 XTX 24GB | 每元显存最强,实测同量级吞吐不输 3090 | ROCm/Vulkan 折腾税;需 Unsloth 定制 llama.cpp;静音与功耗一般 |
| ¥7,000–9,500 | 二手 RTX 3090 24GB | 软件生态最省心、社区案例最多、速度上限更高 | 矿卡风险、350W 功耗、需 850W 电源、无 FP8/NVFP4 |
| ¥15,000–20,000(二手)/ ¥21,000+(全新) | AI MAX+ 395 128GB 迷你主机 | 静音(相对低功耗)、容量最大可多模型驻留、可同时当 NAS/工作站 | 速度垫底(约为独显一半);NPU 帮不上忙;内存不可升级 |
| ¥30,000–38,000 | 二手 Mac Studio M4 Max 128GB(必须是 40 核 GPU) | 安静、带宽是 AMD 方案两倍、MLX 生态成熟 | 最贵;无 CUDA;需手动抬 GPU 内存限额 |
三条决策准则
- 要「跑得快 + 少折腾」 → 二手 RTX 3090。社区资料最多,出问题容易搜到解法。
- 要「每元性能最高 + 接受折腾」 → 二手 RX 7900 XTX。省下的 ¥2,700–4,700 可以加内存和 SSD。
- 要「一台安静的小机器常驻跑 + 顺手带别的活」 → AI MAX+ 395 128GB。它的价值在容量和多任务,不在速度。别因为「NPU 50 TOPS」而买它——那个数字与本地 LLM 无关。
- 已有 Mac → 只要内存 ≥32GB 就能直接跑,不必再买。48GB 的 MacBook Pro 已被官方演示验证过(飞行模式离线跑出飞行模拟器)。
⚠️ 三条通用避坑
- 长上下文记得按 32 KiB/token 算 KV,别按常规 16 KiB 估算,否则会 OOM。
- 一定要用支持循环架构的运行时(新版 Ollama / Unsloth llama.cpp 定制构建),上游 llama.cpp 尚不支持。
- 模型本身有两个已知风险:长推理可能陷入循环;官方自承可能未经确认就执行删除/覆写文件等破坏性操作。建议设输出 token 与 agent 轮次上限,并在沙箱/隔离目录中跑,不要直接接生产目录。
附:本文数据的可信度分级
| 级别 | 内容 |
|---|---|
| ✅ 一手/官方 | 模型参数、量化档体积、官方建议内存、Mac 官方门槛、Apple 规格与价格、Unsloth 官方量化表 |
| 第三方实测(可信但未复现) | RTX 3090 / RX 7900 XTX / AI MAX+ 395 / Mac Studio 的各模型 tokens/s(来自 llm-bench.io、llamaperf、ServeTheHome、SpecPicks、Kingy/RigBase 等) |
| 估算/推算 | 二手 AI MAX+ 395 整机价格区间(闲鱼未见稳定中位价);Inkling 2 Mini 在各平台的具体速度(该模型 2026-11-20 才发布,无公开逐硬件实测) |
本文件所有价格均为 2026 年 11 月中旬行情,波动较大,下单前请自行复核。速度数字除注明「实测」外均为按带宽与同类模型推算,请以你自己的实跑为准。
posted on 2026-11-21 18:16 fox_charon 阅读(19) 评论(0) 收藏 举报
浙公网安备 33010602011771号