MiniCPM5-2B 本地部署教程：显存需求、四条路径，附 3B 模型纯 CPU 实测

MiniCPM5-2B 本地部署教程：显存需求、四条路径，附 3B 模型纯 CPU 实测

直接回答两个问题：你的机器跑不跑得动、怎么一步步跑起来。

9 月 8 日，面壁智能和 OpenBMB 开源了 MiniCPM5-2B：2B 参数，Agent 能力评测 20 分，同级别的第二名是 9 分。

结论先放这儿：8GB 显存跑 FP16 绰绰有余，4GB 卡走量化也没问题。 下面是部署路径 + 报错排查。

一、先说结论：要什么配置

2B 模型的胃口比你想的小。给你一个直接能用的显存估算表：

精度	模型权重占用	加上运行时开销（参考）	适用硬件
FP16	约 4 GB	5 - 6 GB	6GB 显存以上独显
INT8 量化	约 2 GB	3 - 4 GB	4GB 显存 / 部分核显
INT4 量化	约 1.2 GB	2 - 3 GB	2GB 显存也可试 / 手机端

怎么算的：参数量乘精度字节数（2B×2 字节 = 4GB fp16），再加上 KV 缓存和推理框架开销。上下文开得越长，KV 缓存越大——所以小显存机器记得把上下文控制在 4K 到 8K。

一句话：8GB 显存的卡跑 FP16 都绰绰有余，4GB 卡走量化路线没问题。

二、值得跑的理由：评测成绩摆在这

综合智能 23 分，超过了 Gemma 4 12B 和 Qwen3.5 9B（都是 22 分）——注意，那是它四到六倍参数的模型。

Agent 能力 20 分，第二名 9 分。这不是领先一点，是断层。另外它输出也省：完成同难度任务平均 21k token，是全场最低一档——端侧设备上，省 token 就是省电、省时间。

实测参考：普通电脑跑 3B 级模型是什么体验

你可能已经知道"能跑"，但更想知道"跑起来什么感觉"。我在自己的办公机上做了一组真实测试（Windows 10，8 逻辑核 CPU，16GB 内存，没有独立显卡）。

这张图怎么看：左边生成速度（57 tokens/s，纯 CPU）、中间 Agent 能力（工具调用成功、1.2 秒响应）、右边到手成本（首次加载 19.5 秒，之后常驻）。三个数字合起来就一句结论：不用买显卡，本地跑 Agent 这颗种子已经能种下了。

三条结论（测试对象：本机已有的 Qwen2.5 3B Q4 量化版，1.9GB）：

1. 不用显卡，3B 级模型的对话速度已经够用。 57 tokens/s 比人的阅读速度快得多，体感是"打字机一样往外蹦"。
2. 工具调用这颗"Agent 的种子"，在本地是能跑通的。 1.2 秒的调用响应，做本地自动化完全可用。
3. 首次加载的 19.5 秒属于正常（模型要读进内存）。让模型常驻（或配 keep_alive），之后就没有这笔成本。
4. 顺带试了多轮记忆：两轮对话之后，它还能准确答出此前让它记住的数字。

想自己复现这个测试？装好 Ollama 之后两条命令（换成你本机的模型名）：

# 看看本机有哪些模型
ollama list

# 跑一次生成，拿速度数据：输出末尾的 eval rate 就是 tokens/s
ollama run qwen2.5:3b --verbose "用一句话解释什么是KV缓存"

输出里重点看两个数：eval rate（生成速度，越大越好）和 total duration（总耗时）。

说明：实测环境为 Windows 10（19045）/ Intel 8 逻辑核 / 16GB 内存，Ollama 0.32.14，测试时间 2026-09-20，被测模型为 3B 级（非 MiniCPM5-2B）。MiniCPM5-2B 的部署路径整理自官方文档，实际速度取决于你的硬件。

三、四条部署路径，按难度排

先看这张表，挑你需要的那条，再往下看细节：

路径	适合谁	特点
Ollama	想五分钟跑起来	最省事，但模型库里不一定有这个版本
llama.cpp	要量化、要可控	全平台通用，可以自己把模型转成 GGUF
vLLM / SGLang	多人共用、做服务	高吞吐，直接给标准 OpenAI 接口
Transformers	写代码调试验证	最灵活，适合做实验和二次开发

Windows 用户先看这段：三条路都能走——① Ollama 有 Windows 安装包，最省事；② llama.cpp 官方提供 Windows 预编译包，解压即用；③ 要是老遇到奇怪的依赖问题，装个 WSL2 在 Linux 环境里跑（长期玩深度学习的话，WSL2 值得一次配好）。

Mac 用户：优先 Ollama 或 MLX 路线，Metal 加速比纯 CPU 快得多。

路径 1：Ollama（最省事，先试这条）

# 拉取并运行（模型名请以 Ollama 官方库搜索 MiniCPM5 为准）
ollama run minicpm5

# 或者作为服务常驻
ollama serve
# 然后调 http://localhost:11434/api/chat

如果 Ollama 库里还没有这个版本，别纠结，直接走下一条路径的 GGUF 方式，或者用 Python 直接加载（路径 4）。

路径 2：llama.cpp（最通用，所有平台通吃）

# 1) 拿到 GGUF 文件：优先在模型仓库找现成的 GGUF
#    没有就自己转（需要 llama.cpp 源码环境）
python convert_hf_to_gguf.py /你的模型目录 --outfile minicpm5-2b-f16.gguf

# 2) 量化到 Q4（文件更小、速度更快）
./llama-quantize minicpm5-2b-f16.gguf minicpm5-2b-q4_k_m.gguf Q4_K_M

# 3) 起一个带 OpenAI 兼容接口的服务
./llama-server -m minicpm5-2b-q4_k_m.gguf -c 8192 --port 8080

量化档位怎么选：Q4_K_M 是通用推荐（体积、速度、质量平衡最好）；显存特别紧就上 Q3；要质量优先用 Q5/Q6。

路径 3：vLLM / SGLang（服务化，多人共用选它）

pip install vllm
vllm serve /你的模型目录 --dtype auto --max-model-len 8192 --port 8000

起完就是标准 OpenAI 接口，直接接你现有的应用代码。官方已适配 vLLM、SGLang、llama.cpp、Ollama——四个后端都有，挑你熟的用。

路径 4：Transformers 直接调（写代码测试最灵活）

pip install transformers torch accelerate

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "<在 HuggingFace 集合页 openbmb/minicpm5 里复制准确模型 ID>"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "用一句话解释什么是 KV 缓存"}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to(model.device)
out = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

提醒：模型 ID 一定要去官方集合页复制，别照抄网上的老 ID，不同版本对不上会直接报找不到。

四、要微调？两条现成路

官方这次把训练配方和数据都放出来了，微调环境也已经适配好：

工具	适合场景
LLaMA-Factory	图形界面 + 配置文件都能用，上手快
ms-swift	阿里自研，命令行友好，适合脚本化

数据方面，官方开源的 UltraData-SFT-Agent-2609 有 50 多万条 Agent 训练样本，覆盖从基础工具调用到长链路工作流——做 Agent 微调的话，这批数据本身就是很好的起点。

五、这次开源的"含金量"：不止是权重

这是我推荐大家关注这个项目的真正原因——它把四层全放了：

• 模型层：权重 + 模型卡 + 评测方法
• 数据层：UltraX（预训练）、UltraData-Code（代码）、SFT/RL 数据集
• 方法层：训练 Recipe、JustRL II 算法（GRPO 加 Critic，词元级信用分配）
• 工程层：Meshy 训练框架（去掉了中央控制器和 Ray 依赖，全部对等服务）

权重是答案，配方和数据集是解题过程。 就算你不用这个模型，那套数据清洗流水线（可验证性过滤 → 多模型共识校验 → 按难度筛选）也值得抄到自己项目里。

六、跑起来遇阻？对照这份排查

Q：ollama list 报 "could not connect to a running Ollama instance"？
这是服务没启动，不是装坏了。Windows 上两步排查：① 托盘里找 Ollama 图标，没运行就先启动；② 手动拉起来也行——命令行执行 ollama serve，然后 curl http://127.0.0.1:11434/api/tags 验证，能返回模型列表就是通了。
（这个报错我实测时真遇到过，就是服务没起，别慌。）

Q：ollama 拉不到模型？
以 Ollama 官方库搜索为准，没有就先用第 2 或第 4 条路径，或者等社区把 GGUF 传上去。

Q：显存够但还是 OOM？
把上下文长度降下来（-c 4096），或者把量化档位降一档。KV 缓存经常是压垮小显存的最后一根稻草。

Q：推理速度慢？
先确认是不是跑在 CPU 上了（device_map 配错很常见）；独显用户检查驱动和 CUDA 版本；量化档位 Q4 比 Q8 快不少。

Q：输出乱码/重复？
检查 tokenizer 是否用了官方新版本；老版本 transformers 可能不兼容，先升级：pip install -U transformers。

Q：想做端侧 App，怎么嵌？
两条路：手机端可以用 llama.cpp 的移动端绑定；嵌入式场景关注 14MB 级的 needle 这类超小模型做前置过滤，复杂任务再交给 2B 模型。

七、资源清单

要什么	去哪
模型和数据集	HuggingFace 集合页：openbmb/minicpm5
源码和文档	github.com/OpenBMB/MiniCPM
训练框架	github.com/OpenBMB/Meshy
推理后端	vLLM / SGLang / llama.cpp / Ollama 均支持

---

说明：显存估算为通用计算方法（参数量×精度 + 运行时开销），实际以你的框架和上下文长度为准；评测数据引自官方发布与媒体报道，以官方模型卡和榜单原始页面为准；部署命令整理自各框架官方文档。