AIGC标识 Inkling 2 Mini 高性价比硬件选型:二手显卡 / AMD 统一内存机 / 苹果二手机器

写作时点:2026-11-21(北京时间) 选型对象:Thinking Machines Lab 的 Inkling 2 Mini(26.4B MoE,激活 3.4B,循环后有效 5.4B,Apache 2.0) 约束条件:二手显卡优先、AMD 系设备优先、苹果二手机器 数据来源:Thinking Machines 官方发布页、Unsloth 量化表与运行指南、ToolMintX 显存测算(2026-11-21)、rigprice.com 与 eefly.online 二手行情(2026-11 中旬)、llm-bench.io / llamaperf.com 实测库、Apple Newsroom 2026-08-25


一、先记住三个硬约束(决定后面所有选型)

# 约束 数值 影响
1 原生权重大小 约 20GB(NVFP4 + 末 4 层 MXFP8) 想「原生精度」跑,机器必须有 ≥24GB 可用显存/统一内存,且还要留 KV 空间
2 KV cache = 32 KiB/token 循环使全局注意力层从 4 层变 8 层缓存;1M 上下文 = 32GiB ⚠️ 比常规估算贵一倍,长上下文必须按这个数留余量
3 上游 llama.cpp 不支持循环架构 需 Unsloth 定制构建 b12568-mix-8eebad4 或新版 Ollama 否则报 "Unknown architecture";AMD 平台同样受此限制

Unsloth 官方给出的量化档与建议内存(这是所有选型的锚点):

量化档 GGUF 体积 官方建议内存 定位
UD-IQ1_S 7.76 GB 9 GB 质量损失大,仅测试
UD-Q2_K_XL 9.14 GB 10–11 GB 可用
UD-IQ3_XXS / UD-Q3_K_XL 11.7 / 13.6 GB 13–15 GB 短上下文可用
UD-Q4_K_M / UD-Q4_K_XL 16.6 / 17.6 GB 17–18 GB ✅ 甜区(对 Q8 的 top-token 一致性 97.9%–98.0%)
UD-Q8_K_XL 22.87 GB 24 GB 近无损,但 24GB 卡基本塞不下

二、候选方案横向对比

方案 代表配置 参考到手价 预计生成速度* 能否跑原生 20GB 一句话评价
A. 二手 N 卡单卡 RTX 3090 24GB ¥8,000–9,000(闲鱼中位 ¥8,999) 45–65 t/s ❌ 放不下+KV 速度/折腾成本最优,矿卡风险最高
A'. 二手 A 卡单卡 RX 7900 XTX 24GB ¥4,300–6,300(¥6,299 中位,最低 ¥4,299) 40–60 t/s ❌ 每元显存最强,但要吃 ROCm/Vulkan 折腾税
B. AMD 统一内存整机 AI MAX+ 395 / 128GB 迷你机 全新 ¥21,000–26,000;二手约 ¥15,000–20,000 15–25 t/s ✅ 静音省电、容量最大、可多模型驻留;速度垫底
C. 苹果二手机器 Mac Studio M4 Max 128GB 闲鱼中位 ¥34,800 40–60 t/s ✅ 带宽是 B 的两倍、安静、生态成熟;最贵
C'. 苹果二手(低配) Mac mini M4 24GB / MacBook Pro 48GB 远低于 Studio 短上下文可用 ⚠️ 48GB 才能跑原生 只在已有设备时才成立

* 速度为区间估计,非针对 Inkling 2 Mini 的一手实测(该模型尚无公开的逐硬件实测)。推算依据见第四节。


三、方案 A:二手 NVIDIA 显卡

A1. 首选 RTX 3090 24GB

项目 数据 来源
规格 GA102 / 10496 CUDA / 24GB GDDR6X / 384-bit / 936 GB/s / 350W 公开规格
二手行情 闲鱼中位 ¥8,999(区间 ¥8,388–9,800);店保好成色 ¥4,800–5,000;无保矿卡 ¥3,999–4,500 eefly.online(2026-11)、Jawa
海外对照 eBay 中位约 $1,948、Jawa 成交中位 $1,300 rigprice / Jawa(2026-11-02 更新)

能跑什么(对照社区 llama.cpp 实测口径):

模型量级 量化 占用 速度
7–8B Q4_K_M ~4.1GB <8GB 70–90 t/s
13–14B Q4 ~8GB ~12GB 45–60 t/s
30–32B(甜点上限) Q4_K_M ~20GB ~20GB,留 3–4GB 给 KV 22–28 t/s
70B IQ2 ~33GB 爆显存,需卸载 3–6 t/s(不建议)

对 Inkling 2 Mini:Q4 档 17.6GB + 160MiB 窗口缓存 + KV,24GB 卡可开约 14 万 token 上下文(ToolMintX 按 15% 安全余量测算),社区同类 MoE(35B-A3B)在这张卡上跑到 22–28 t/s。循环会让每 token 的实际计算变重,实际值应低于同尺寸稠密模型。

⚠️ 3090 的三个坑: 1. 矿卡比例极高——3090 经历完整矿潮。验货三板斧:GPU-Z 看显存颗粒批次、OCCT 显存测试跑满一轮(报错一票否决)、FurMark 烤 15 分钟看结温(超 90℃ 警惕)。背板油渍、金手指发黑/烧黑直接退。 2. 功耗 350W(实测长推理 380–420W)——电源建议 850W 金牌,12V 扛不住会掉电重启。 3. 驱动进入 legacy 支持模式,新 llama.cpp 特性优先新架构;且没有原生 FP8(NVFP4 更不用想),只能用 GGUF 量化版。

A2. 同价位替代

卡 显存/带宽 参考价 判断
RTX 4070 Ti SUPER 16GB 16GB / 736 GB/s 全新 ¥6,500–6,900 ⚠️ 装不下 Q4 的 17.6GB,只能降到 IQ3_XXS,天花板被锁死
RTX 5060 Ti 16GB 16GB / 448 GB/s 全新 ¥4,600–5,500 同上,且 128-bit 位宽带宽偏低
RTX 4090 24GB 24GB / 1,008 GB/s 二手 ¥18,000–26,000 快 1.3 倍但价格翻倍,「每 GB 显存」不划算
RTX A4000 16GB 16GB 二手约 ¥1,000($1,000) 涡轮卡、长寿命设计,但 16GB 不够本模型甜区

结论:NVIDIA 阵营里,想要 24GB 又控预算,3090 是唯一答案;想要省心保修就加钱上全新 16GB 卡并接受量化降级。


四、方案 A':二手 AMD 独立显卡(性价比优先时的最强候选)

RX 7900 XTX 24GB

项目 数据
规格 RDNA 3 / 24GB GDDR6 / 96 MB Infinity Cache / 384-bit / 约 960 GB/s
二手行情 闲鱼中位 ¥6,299,最低 ¥4,299,最高 ¥7,100(样本 17)
海外对照 RigPrice 在售中位约 $1,450(2026-11-14)
实测吞吐 Qwen3.8-27B Q4_K_XL = 71.3–74.4 t/s(llm-bench.io,2026-09-05,llama.cpp);IQ3_XXS 档 58–61 t/s
长上下文 双 7900 XTX 解耦实例跑 Qwen3.8-27B 114K 代码任务:单卡 decode 27.7 t/s、双卡聚合 80.6 t/s

为什么它是「性价比优先」下的最优解: - 同样 24GB,比 3090 便宜约 ¥2,700(中位口径)甚至 ¥4,700(低位口径),但速度在同一量级。 - 24GB 容量让 Q4_K_XL(17.6GB)+ KV 有充足余量。

⚠️ AMD 卡的四个代价: 1. 没有 NVFP4,只能走 GGUF 量化版——对 Inkling 2 Mini 反而是唯一路径,不算额外损失。 2. ROCm 在 Windows 上覆盖有限,Linux 体验更完整;llama.cpp 用 Vulkan 后端往往比 ROCm 更稳(多个 Strix Halo 实测都指向这一点)。 3. 循环架构需要 Unsloth 定制 llama.cpp 构建,AMD 上能不能顺利吃到要自己试。 4. Infinity Cache 帮不上 LLM 解码(瓶颈是 HBM 带宽,不是缓存命中)。

其他 AMD 卡

卡 显存 判断
RX 7900 XT 20GB 20GB 差一点:Q4_K_XL 17.6GB + KV 会非常紧,只能降到 Q3
RX 7800 XT / RX 9070 XT 16GB 16GB 只能 IQ3_XXS,天花板受限
RX 6900 XT 16GB 16GB RDNA2,ROCm 支持一般,不推荐

五、方案 B:AMD 统一内存设备(AI MAX+ 395 / Strix Halo)

关键澄清:NPU 不参与大模型推理

⚠️ 这是最常见的选购误解。截至 2026 年中,Ollama / llama.cpp / LM Studio 都把 LLM 负载跑在 Radeon GPU 上,XDNA 2 NPU 不参与。 NPU 的 ~50 TOPS(整颗处理器合计口径 126 TOPS)只用于视频超分、图像分类等固定算子任务,不能拿它来评估本地模型能力。

真正干活的是 Radeon 8060S 核显 + 128GB LPDDR5X 统一内存。

平台规格

项目 数据
CPU 16 核 Zen 5(3.0GHz 基础 / 5.1GHz 加速)
GPU Radeon 8060S,40 CU / 2560 SP / RDNA 3.5
NPU XDNA 2,~50 TOPS(LLM 用不上)
内存 128GB LPDDR5X-8000,256-bit,理论带宽约 256 GB/s
可分配显存 Windows 可变显存上限 96GB;Linux 通过 amdgpu.gttsize / ttm.pages_limit 可达 110–120GB
TDP 默认 55W,可配置 45–120W(整机厂决定实际散热上限)
内存 板载不可升级,买定离手

机型与价格

机型 128GB 全新价 特点 备注
铭凡 MS-S1 MAX 京东 ¥24,999 双 10GbE、USB4 v2 ×2、PCIe x4 扩展槽(不支持独显)、320W 内置电源 扩展性最好
铭凡 N5 MAX 天猫 ¥15,999.9 万兆网口、NAS 取向 价格最低
阿迈奇 M1A Pro+ 京东 ¥20,999–21,799 128G + 2TB —
GMKtec EVO-X2 美亚 $3,499.99 最早上市的标杆机型 海外价
Minisforum MS-S1 Max 美亚 $3,959 — —
Framework Desktop DIY $3,449(不含 SSD) Linux 友好、可维修 长期缺货
二手行情 约 ¥15,000–20,000(估) 闲鱼未见稳定中位价,建议按同配置全新价 6–7 折询价 ⚠️ 估算值,需自行核实

速度参照(Q4 类量化)

模型 内存占用 引用速度 来源
gpt-oss-120b(MoE,激活 ~5B) ~64GB ~52–56 t/s llama.cpp Vulkan
gpt-oss-120b(同上,LM Studio 默认可开箱) ~64GB 31.41 t/s ServeTheHome(GTR9 Pro 实测)
Qwen3 32B(dense) ~20GB ~8–12 t/s 社区共识
Qwen3.8-27B(GSQ IQ3_S,12.12GB) 12.1GB 16.1 t/s(开 MTP 28.8 t/s) Kingy 实测,RigBase 收录(128GB 版,Ubuntu,Vulkan)
Llama 3.3 70B(dense) ~40GB 4.89–6 t/s 带宽瓶颈

对 Inkling 2 Mini 的推算:同为 MoE、激活量级相近(5.4B vs 3B),但循环使每 token 计算更重。合理预期落在 15–25 t/s 区间,短上下文偏高、长上下文偏低。⚠️ 目前没有针对该模型的公开实测,请以实跑为准。

榨干性能的调优清单(社区共识)

项 建议
系统 优先 Ubuntu/Linux:可给 GPU 分配 110–120GB,Windows 封顶 96GB
设备标识 Linux 下确认 gfx1151,否则 Ollama/llama.cpp 会掉回 CPU-only,吞吐减半
框架 llama.cpp + Vulkan 后端;Windows ML / ORT GenAI 首 token 更慢
参数 -ngl 99 --flash-attn -c 16384 --cache-type-k q8_0 --cache-type-v q8_0 -t 16 -tb 16 --mlock
UMA Buffer BIOS 拉到 32GB
TDP 用 RyzenAdj 把 STAPM/PPT 拉到 120W 上限(默认偏低,几分钟后 GPU 降频)
电源计划 Windows 切「高性能」
虚拟内存 页面文件设到 64GB 以上,避免高位内存回收导致卡顿
避坑 Ollama 加载失败时用 llama.cpp --no-mmap 绕开 Windows 显存映射问题

六、方案 C:苹果二手机器

官方门槛与平台规格

官方原文:At launch we support Inkling 2 Mini running on any Mac system (MacBook, Mac Mini) with at least 32GB RAM via Ollama.

芯片 统一内存 带宽 判断
M5 Ultra(现款) 最高 512GB 1.2 TB/s 带宽是 AMD 统一内存方案的 4.7 倍;Thunderbolt 5 可多机集群,分布式推理最高约 3 倍
M5 Max(现款) 最高 128GB 最高 614 GB/s 原生 20GB 权重 + 长上下文都宽裕
M4 Max(2025 款,已停售) 最高 128GB 546 GB/s(仅 40 核 GPU 版;32 核版只有 410 GB/s) ✅ 二手主力
M3 Ultra(2025 款) 96–512GB 819 GB/s 96GB 够用,128GB 是舒适区

⚠️ 购买时必须确认 GPU 核心数:M4 Max 的 128GB 版本只随 40 核 GPU 提供(546 GB/s);32 核版只有 410 GB/s,生成慢约 25%。二手挂单常只写「M4 Max」,务必在「关于本机」里核对。

价格(2026-11)

渠道 配置 价格 来源
闲鱼(vramglass 统计) Mac Studio M4 Max 128GB 中位 ¥34,800 vramglass.com(近 7 天)
闲鱼 Mac Studio M5 Max 128GB ¥40,226 同上
闲鱼 DGX Spark 128GB ¥18,299(对照) 同上
eBay / macfax Mac Studio M3 Ultra 96GB/1TB 挂单 $3,950–4,790,典型中位约 $5,750 macfax(2026-11-19)
台湾收购价(折人民币约) M2 Ultra 128GB NT$64,000 ≈ ¥14,300 台湾独立维修中心回收表

注意:苹果二手机的「异地差价」很大——海外 M2/M3 Ultra 128GB 的回收/挂单价折算人民币明显低于国行闲鱼。⚠️ 但跨境购机涉及保修、电压、键盘布局与运输风险,不建议作为首选路径,此处仅作价格参照。

速度参照

模型 速度 来源
Qwen3.8-27B(2-bit) M4 Max 128GB 39.3 t/s vs M5 Max 43.9 t/s vs DGX Spark 20.2 t/s vs AI MAX+ 395 19 t/s vramglass 对比表
Mistral Medium 3.5 128B(4-bit,70GB) M3 Ultra 128GB:短 prompt 24.1 t/s,32K 输入降至 15.8 t/s,128K 预填约 3 分钟 SpecPicks 公开基准复现
Qwen3.6 35B-A3B(MoE,36.9GB) M4 Max 128GB 约 108 t/s vramglass 估算
Qwen3.8 Flash Next 176B(4-bit,111.3GB) 需手动抬高 GPU 内存限额后才可加载 同上

对 Inkling 2 Mini:M4 Max 128GB 的 546 GB/s 是 AI MAX+ 395 的两倍多,Q4 档(17.6GB)在这台机器上完全谈不上容量压力。合理预期 40–60 t/s(视上下文长度与运行时差异较大)。

必做的三件事

  1. 抬高 GPU 内存限额:macOS 默认只给 GPU 约 96GB,超 100GB 的模型直接装不进。终端执行 sudo sysctl iogpu.wired_limit_mb=122880(128GB 机器留 8–16GB 给系统)。⚠️ 该设置重启后失效,需重新执行。
  2. 选对引擎:MLX 明显快于 llama.cpp(Metal),LM Studio 两者都内置可按模型切换;Ollama 从 0.19 版起在 Apple 芯片上加了 MLX 引擎。
  3. 确认不是 binned 芯片(见上)。

⚠️ 苹果的短板:没有 CUDA,vLLM/SGLang/基于 CUDA 的微调工具都用不了;长 prompt 预填速度不如 DGX Spark;高负载时风扇会明显可闻(有用户报告 1,700 rpm)。


七、速度怎么来的:一个可用的粗算方法

LLM 单流解码速度主要由带宽决定,可近似用「每 token 需读取的激活权重字节数 ÷ 带宽」估:

t/s ≈ 带宽(GB/s) ÷ (每 token 实际读取字节数 / 1e9)

对本模型:激活 5.4B(Q4 量化约 2.7GB/token)→ 理论上界很高,实际受内核效率、KV、循环开销拖累。

平台 带宽 实测锚点(同类 MoE/27B 级) 对本模型的推算
RTX 3090 936 GB/s 30–32B Q4 实测 22–28 t/s 45–65 t/s(循环拖累,取中低段)
RX 7900 XTX ~960 GB/s Qwen3.8-27B Q4 实测 71–74 t/s 40–60 t/s
Mac Studio M4 Max 128GB 546 GB/s Qwen3.8-27B 2-bit 39.3 t/s 40–60 t/s
AI MAX+ 395 128GB 256 GB/s Qwen3.8-27B GSQ IQ3_S 16.1 t/s 15–25 t/s
DGX Spark 128GB 273 GB/s Qwen3.8-27B 2-bit 20.2 t/s (不在本次选型范围,仅对照)

⚠️ 上表是数量级参考,不是承诺值。同一模型在不同运行时(llama.cpp vs MLX vs vLLM)、不同 KV 精度、不同上下文长度下能差 30–50%。


八、最终推荐(按你的约束排序)

预算区间 推荐 理由 主要代价
¥4,500–6,500 二手 RX 7900 XTX 24GB 每元显存最强,实测同量级吞吐不输 3090 ROCm/Vulkan 折腾税;需 Unsloth 定制 llama.cpp;静音与功耗一般
¥7,000–9,500 二手 RTX 3090 24GB 软件生态最省心、社区案例最多、速度上限更高 矿卡风险、350W 功耗、需 850W 电源、无 FP8/NVFP4
¥15,000–20,000(二手)/ ¥21,000+(全新) AI MAX+ 395 128GB 迷你主机 静音(相对低功耗)、容量最大可多模型驻留、可同时当 NAS/工作站 速度垫底(约为独显一半);NPU 帮不上忙;内存不可升级
¥30,000–38,000 二手 Mac Studio M4 Max 128GB(必须是 40 核 GPU) 安静、带宽是 AMD 方案两倍、MLX 生态成熟 最贵;无 CUDA;需手动抬 GPU 内存限额

三条决策准则

  1. 要「跑得快 + 少折腾」 → 二手 RTX 3090。社区资料最多,出问题容易搜到解法。
  2. 要「每元性能最高 + 接受折腾」 → 二手 RX 7900 XTX。省下的 ¥2,700–4,700 可以加内存和 SSD。
  3. 要「一台安静的小机器常驻跑 + 顺手带别的活」 → AI MAX+ 395 128GB。它的价值在容量和多任务,不在速度。别因为「NPU 50 TOPS」而买它——那个数字与本地 LLM 无关。
  4. 已有 Mac → 只要内存 ≥32GB 就能直接跑,不必再买。48GB 的 MacBook Pro 已被官方演示验证过(飞行模式离线跑出飞行模拟器)。

⚠️ 三条通用避坑

  • 长上下文记得按 32 KiB/token 算 KV,别按常规 16 KiB 估算,否则会 OOM。
  • 一定要用支持循环架构的运行时(新版 Ollama / Unsloth llama.cpp 定制构建),上游 llama.cpp 尚不支持。
  • 模型本身有两个已知风险:长推理可能陷入循环;官方自承可能未经确认就执行删除/覆写文件等破坏性操作。建议设输出 token 与 agent 轮次上限,并在沙箱/隔离目录中跑,不要直接接生产目录。

附:本文数据的可信度分级

级别 内容
✅ 一手/官方 模型参数、量化档体积、官方建议内存、Mac 官方门槛、Apple 规格与价格、Unsloth 官方量化表
第三方实测(可信但未复现) RTX 3090 / RX 7900 XTX / AI MAX+ 395 / Mac Studio 的各模型 tokens/s(来自 llm-bench.io、llamaperf、ServeTheHome、SpecPicks、Kingy/RigBase 等)
估算/推算 二手 AI MAX+ 395 整机价格区间(闲鱼未见稳定中位价);Inkling 2 Mini 在各平台的具体速度(该模型 2026-11-20 才发布,无公开逐硬件实测)

本文件所有价格均为 2026 年 11 月中旬行情,波动较大,下单前请自行复核。速度数字除注明「实测」外均为按带宽与同类模型推算,请以你自己的实跑为准。

posted on 2026-11-21 18:16  fox_charon  阅读(19)  评论(0)    收藏  举报

导航