Model-MiniCPM5-1B

Model-MiniCPM5-1B

本节内容参考引用 微信文章

5 月 25 日,面壁开源最新一代端侧文本基座大模型 MiniCPM5-1B。这是一款面向开发者和终端设备的 1B 级「小钢炮」模型,主打低成本部署、高效运行和端侧友好

基于面壁 MiniCPM 系列端侧模型开发的 AI 桌宠交互演示。项目地址:https://github.com/OpenBMB/MiniCPM-Desk-Pet(本项目基于 clawd-on-desk 项目二次开发)

优势:

  • 它小到可以被放进普通终端,支持本地运行,可以减少对云端 API 的依赖;
  • 还保留了对话、理解、推理和工具调用等基础能力,足以支撑一类轻量但高频的本地 AI 应用。

MiniCPM5-1B 不仅能聊天,更拥有深入系统底层的端侧 Agent 自主执行能力

Generation parameters

Mode --temp --top-p When to use
Think 0.9 0.95 reasoning, math, code, multi-step
No-think 0.7 0.95 fast assistant, latency-bound

部署

从精度选择上看:

  • FP16 精度权重约 2GB,适合 GPU 和高端笔记本以及服务器;
  • INT8 量化后约 1GB,几乎无性能损失,覆盖主流笔电和边缘计算盒子;
  • INT4 / Q4 量化后仅 0.5GB,手机、平板、车机都能跑。也就是说,一张半张 SD 卡的空间,就能装进一个达到同级全球最优水平的语言模型。
  • 支持纯 CPU 环境运行,也可以在浏览器中部署

模型列表(根据运行环境选择合适的模型格式)

Name Description
MiniCPM5-1B BF16 最终发布版(经过 RL + OPD 后训练)
MiniCPM5-1B-SFT BF16 仅监督微调(SFT)检查点(RL / OPD 之前)
MiniCPM5-1B-Base BF16 基础检查点(仅预训练)
MiniCPM5-1B-GGUF 适用于 llama.cpp / Ollama / LM Studio 的 GGUF 格式
MiniCPM5-1B-MLX 适用于 Apple Silicon 的 MLX / 4bit 格式

微调侧

微调侧支持 LlamaFactoryms-swift

推理侧

推理侧支持 SGLang、vLLM、llama.cpp、Ollama、Hugging Face、ArcLight 等工具和框架

Skills

面壁还提供了安装部署相关的 skills
Skills 链接:https://github.com/OpenBMB/MiniCPM/tree/minicpm5#agent-skills--one-click-deploy--finetune

数据治理相关成果

包括开源高质量预训练数据集 UltraData(含最新版本 Ultra‑FineWeb‑L3)。

参考链接

MiniCPM5-1B--modelscope

支持多种后端部署方式(其中部分)

后端 模型格式 使用场景 部署指南 Agent 技能
Transformers BF16 / FP16 本地 Python 推理,支持 GPU + CPU transformers.md minicpm5-deploy-transformers
vLLM BF16 / FP16 OpenAI 服务器 vllm.md minicpm5-deploy-vllm
llama.cpp GGUF 本地推理,支持 CPU/GPU llama_cpp.md minicpm5-deploy-llama-cpp
Ollama GGUF 本地设备运行时 ollama.md minicpm5-deploy-ollama
posted @ 2026-06-10 19:56  Theseus‘Ship  阅读(89)  评论(0)    收藏  举报
Live2D