本地部署的Ternary-Bonsai-2-27B-PQ2_0.gguf,推理等级配置

本地部署的 Ternary-Bonsai-2-27B-PQ2_0.gguf ,通过 api 方式连接访问时候,模型推理等级 怎么配置

验证完成,信息已齐全(官方要求 PrismML 专用 llama.cpp fork、4-bit KV cache 可省 ~4 倍上下文显存、enable_thinking 是 Qwen3 系 API 的推理等级开关)。下面直接给你可落地的配置方案。

先说结论:通过 API 访问时,"推理等级"不是在请求里选一个档位,而是由 两层配置 决定——

  1. 服务端启动参数(llama-server):决定上下文多大、KV 缓存怎么压缩、GPU 用多少 → 这是"能不能跑、跑多大"的底层;
  2. API 请求参数(每次调用):enable_thinking 开关 + 采样参数 + max_tokens → 这是"这次调用按哪个推理等级出结果"的上层。

对 Bonsai-2-27B-PQ2_0 最关键的三个动作:必须用 PrismML 的 llama.cpp fork、开 4-bit KV cache、按任务切 thinking 开关。

image

<html style="margin:0;padding:0;">
<title>Bonsai-2-27B API 推理等级配置速查</title>
<div style="width:100%;box-sizing:border-box;max-width:1020px;background:#fbfcfe;border:1px solid #e3e8ef;border-radius:12px;padding:16px 18px 14px;font-family:-apple-system,'PingFang SC','Microsoft YaHei',sans-serif;color:#1f2937;">
  <div style="font-size:16px;font-weight:700;margin-bottom:4px;">Ternary-Bonsai-2-27B-PQ2_0 · API 推理等级配置速查</div>
  <div style="font-size:13px;color:#6b7280;margin-bottom:12px;">两层入口:① 服务端 llama-server 启动参数 → 决定上下文/显存预算;② 每次 API 请求参数 → 决定本次推理深度。档位数值为估算,按实际显存微调。</div>

  <div style="font-size:13.5px;font-weight:700;color:#374151;margin:6px 0 4px;">第一层 · 服务端启动(决定底座)</div>
  <div style="font-size:13px;line-height:1.7;background:#f8fafc;border:1px solid #e5e9ee;border-radius:8px;padding:9px 12px;font-family:ui-monospace,Consolas,monospace;color:#1e3a8a;white-space:pre-wrap;">llama-server -m Ternary-Bonsai-2-27B-PQ2_0.gguf \
  --mmproj Ternary-Bonsai-2-27B-mmproj-Q8_0.gguf \   # 视觉模块,纯文本可去掉
  -c 65536 \              # 上下文:见下方三档
  --n-gpu-layers 999 \    # 全部层 offload 到 GPU
  -ctk tbqp3 -ctv tbq3 \  # 4-bit/ternary KV 缓存(官方推荐,省约4倍上下文显存)
  --port 8080 --no-context-shift</div>

  <div style="display:grid;grid-template-columns:130px 1fr 1fr 1fr;gap:0;border:1px solid #dde3ea;border-radius:10px;overflow:hidden;margin:10px 0 4px;">
    <div style="background:#eef2f7;padding:7px 10px;font-size:12px;font-weight:600;color:#374151;border-bottom:1px solid #dde3ea;">配置项</div>
    <div style="background:#f0fdf4;padding:7px 10px;font-size:12px;font-weight:700;color:#166534;text-align:center;border-bottom:1px solid #dde3ea;">低配 · 8GB 显存</div>
    <div style="background:#eff6ff;padding:7px 10px;font-size:12px;font-weight:700;color:#1e40af;text-align:center;border-bottom:1px solid #dde3ea;">中配 · 12–16GB</div>
    <div style="background:#f5f3ff;padding:7px 10px;font-size:12px;font-weight:700;color:#5b21b6;text-align:center;border-bottom:1px solid #dde3ea;">高配 · 24GB+</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">上下文 -c</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">32768</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">65536–100000</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">131072–262000</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">KV 缓存</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">4-bit(必须开)</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">4-bit</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">4-bit,可放宽到 FP16</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">thinking 开关</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">off(保速度)</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">按任务切换</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">on + reasoning-budget</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">采样参数</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">temp 0.7 · top_p 0.8</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">按模式切换(见下)</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">thinking: 0.6/0.95;off: 0.7/0.8</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">max_tokens</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">2048–4096</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">4096–8192</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">8192–16384</div>

    <div style="padding:8px 10px;font-weight:600;">适用场景</div>
    <div style="padding:8px 10px;border-left:1px solid #e5e9ee;">快速问答、总结、改写</div>
    <div style="padding:8px 10px;border-left:1px solid #e5e9ee;">日常对话 + 中等推理</div>
    <div style="padding:8px 10px;border-left:1px solid #e5e9ee;">数学/代码/长文档深度推理</div>
  </div>

  <div style="font-size:13.5px;font-weight:700;color:#374151;margin:12px 0 4px;">第二层 · 每次 API 请求(决定本次推理深度)</div>
  <div style="font-size:13px;line-height:1.7;background:#f8fafc;border:1px solid #e5e9ee;border-radius:8px;padding:9px 12px;font-family:ui-monospace,Consolas,monospace;color:#1e3a8a;white-space:pre-wrap;">POST [http://localhost:8080/v1/chat/completions](http://localhost:8080/v1/chat/completions)
{
  "model": "Ternary-Bonsai-2-27B-PQ2_0.gguf",
  "messages": [{"role": "user", "content": "..."}],
  "max_tokens": 8192,
  "stream": true,
  "chat_template_kwargs": {"enable_thinking": true},  # true=深度推理 / false=快速回答
  "temperature": 0.6, "top_p": 0.95, "top_k": 20       # thinking 模式官方建议
}</div>
  <div style="font-size:12px;color:#6b7280;margin-top:8px;">显存参考:PQ2_0 权重约 7.2GB;100K 上下文 + FP16 KV 峰值约 14.7GB,开 4-bit KV 后上下文占用约降 4 倍(估算值,来源见引用)。</div>
</div>

几个必须知道的关键点

1. 必须先装对后端:主线 llama.cpp 不支持三元内核,必须用 PrismML 提供的 llama.cpp fork(或 Apple Silicon 用 MLX 版)。否则模型根本加载不了。

2. thinking 开关 = 推理等级的核心(Bonsai 基于 Qwen3.x 架构,支持该参数)

  • enable_thinking: true:模型先输出 <think> 思考过程再给答案 → 数学、代码、多步逻辑用这个,是"高推理等级";
  • enable_thinking: false:直接回答 → 日常对话、快速任务用这个,是"低推理等级";
  • 想限制思考长度:服务端 --reasoning-budget 2048(思考 token 封顶);
  • 注意:thinking 模式通常要求 stream: true,且不要用贪心解码(greedy 会导致重复)。

3. 采样参数按模式切换(Qwen3 官方建议)

  • Thinking 模式:temperature=0.6, top_p=0.95, top_k=20, min_p=0
  • 非 Thinking 模式:temperature=0.7, top_p=0.8, top_k=20, min_p=0
  • max_tokens 要留足:thinking 模式的思考部分也占输出 token,设 2048 以下容易被截断成半句话。

4. 针对你之前那个报错(request 38670 tokens exceeds 32768):根因就是 -c 32768 太小。解决方案按显存选:开 -ctk tbqp3 -ctv tbq3(4-bit KV)后,-c 65536 通常只需 ~10-12GB 显存;如果还是不够,就缩短请求内容,或者把 --n-gpu-layers 调低让一部分层跑 CPU 换显存。

5. 提速选项:Bonsai 自带 DSpark 投机解码 drafter 层,llama-server 会自动使用,别关 。

需要我把这套配置写成一份可直接用的 docker-compose.yml(含 llama-server 容器 + 环境变量 + 端口映射)吗?


模型 推理等级(从低到高)一般配置那些

读好了。下面先给结论,再用一张"等级阶梯图"把从低到高每个档位的模型规模、量化、硬件配置列清楚。

先讲结论:本地模型的"推理等级"由三个配置维度共同决定——① 参数量(模型规模)② 量化精度(GGUF 档位)③ 硬件(显存/内存)。通常说的"从低到高",本质是"参数量越大 + 量化越接近无损 + 硬件越强",能力逐级上升,成本也逐级上升。完整阶梯如下:

image

<html style="margin:0;padding:0;">
<title>模型推理等级与配置阶梯</title>
<div style="width:100%;box-sizing:border-box;max-width:1020px;background:#fbfcfe;border:1px solid #e3e8ef;border-radius:12px;padding:16px 18px 14px;font-family:-apple-system,'PingFang SC','Microsoft YaHei',sans-serif;color:#1f2937;">
  <div style="font-size:16px;font-weight:700;margin-bottom:2px;">模型推理等级 · 从低到高六档配置</div>
  <div style="font-size:13px;color:#6b7280;margin-bottom:12px;">能力与成本 ↑(显存/内存为 Q4 量化下的近似估算)</div>

  <div style="display:grid;grid-template-columns:96px 1.25fr 1fr 1.05fr;gap:0;border:1px solid #dde3ea;border-radius:10px;overflow:hidden;margin-bottom:8px;">
    <div style="background:#eef2f7;padding:7px 10px;font-size:12px;font-weight:600;color:#374151;border-bottom:1px solid #dde3ea;">等级</div>
    <div style="background:#eef2f7;padding:7px 10px;font-size:12px;font-weight:600;color:#374151;border-bottom:1px solid #dde3ea;border-left:1px solid #dde3ea;">参数量 · 代表模型</div>
    <div style="background:#eef2f7;padding:7px 10px;font-size:12px;font-weight:600;color:#374151;border-bottom:1px solid #dde3ea;border-left:1px solid #dde3ea;">推荐量化</div>
    <div style="background:#eef2f7;padding:7px 10px;font-size:12px;font-weight:600;color:#374151;border-bottom:1px solid #dde3ea;border-left:1px solid #dde3ea;">硬件配置</div>

    <div style="background:#f0fdf4;padding:9px 10px;font-weight:700;color:#166534;border-bottom:1px solid #dde3ea;">① 入门档</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>1B–4B</b><div style="font-size:12px;color:#6b7280;">Qwen2.5-1.5B/3B、Llama-3.2-3B、Phi-3-mini</div></div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">Q4_K_M</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>4–6GB 显存</b> / 8GB 内存 CPU<br><span style="font-size:12px;color:#6b7280;">简单问答、总结、分类;复杂推理弱</span></div>

    <div style="background:#ecfeff;padding:9px 10px;font-weight:700;color:#155e75;border-bottom:1px solid #dde3ea;">② 基础档</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>7B–8B</b><div style="font-size:12px;color:#6b7280;">Qwen2.5-7B、Llama-3.1-8B、Mistral-7B</div></div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">Q4_K_M / Q5_K_M</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>6–8GB 显存</b> / 16GB 内存 CPU<br><span style="font-size:12px;color:#6b7280;">日常对话、中等推理、代码补全</span></div>

    <div style="background:#eff6ff;padding:9px 10px;font-weight:700;color:#1e40af;border-bottom:1px solid #dde3ea;">③ 进阶级</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>14B</b><div style="font-size:12px;color:#6b7280;">Qwen2.5-14B、Phi-3-medium</div></div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">Q4_K_M / Q6_K</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>10–12GB 显存</b> / 32GB 内存 CPU<br><span style="font-size:12px;color:#6b7280;">多步推理、代码生成较可靠</span></div>

    <div style="background:#f5f3ff;padding:9px 10px;font-weight:700;color:#5b21b6;border-bottom:1px solid #dde3ea;">④ 高端档</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>27B–32B</b><div style="font-size:12px;color:#6b7280;">Qwen3-27B/32B、QwQ-32B、Bonsai-2-27B</div></div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">Q4/Q5,或三元 PQ2_0(~7GB)</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>16–24GB 显存</b> / 64GB 内存 CPU<br><span style="font-size:12px;color:#6b7280;">复杂推理、长上下文、数学/代码强</span></div>

    <div style="background:#fdf4ff;padding:9px 10px;font-weight:700;color:#86198f;border-bottom:1px solid #dde3ea;">⑤ 旗舰档</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>70B</b><div style="font-size:12px;color:#6b7280;">Llama-3.3-70B、Qwen2.5-72B</div></div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">Q4_K_M / Q5</div>
    <div style="padding:9px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>40–48GB 显存</b>(双卡 24GB)/ 128GB 内存 CPU<br><span style="font-size:12px;color:#6b7280;">综合能力接近闭源旗舰</span></div>

    <div style="background:#fff7ed;padding:9px 10px;font-weight:700;color:#9a3412;">⑥ 顶级档</div>
    <div style="padding:9px 10px;border-left:1px solid #e5e9ee;"><b>100B+</b><div style="font-size:12px;color:#6b7280;">Qwen3-235B、DeepSeek-R1 系列、Llama-405B</div></div>
    <div style="padding:9px 10px;border-left:1px solid #e5e9ee;">Q2–Q4 或 MoE 稀疏激活</div>
    <div style="padding:9px 10px;border-left:1px solid #e5e9ee;"><b>多卡 48–80GB × N</b><br><span style="font-size:12px;color:#6b7280;">顶尖推理,本地门槛极高</span></div>
  </div>

  <div style="font-size:13px;font-weight:600;color:#374151;margin:12px 0 4px;">横切维度 · 量化精度档(同一模型内,从低到高)</div>
  <div style="display:flex;align-items:center;gap:4px;flex-wrap:wrap;">
    <span style="background:#fef2f2;border:1px solid #fecaca;border-radius:6px;padding:4px 8px;font-size:12.5px;">Q2 低精度</span>
    <span style="color:#6b7280;">→</span><span style="background:#fff7ed;border:1px solid #fed7aa;border-radius:6px;padding:4px 8px;font-size:12.5px;">Q3</span>
    <span style="color:#6b7280;">→</span><span style="background:#f0fdf4;border:1.5px solid #4ade80;border-radius:6px;padding:4px 8px;font-size:12.5px;font-weight:700;">Q4_K_M 甜点</span>
    <span style="color:#6b7280;">→</span><span style="background:#eff6ff;border:1px solid #bfdbfe;border-radius:6px;padding:4px 8px;font-size:12.5px;">Q5</span>
    <span style="color:#6b7280;">→</span><span style="background:#f5f3ff;border:1px solid #ddd6fe;border-radius:6px;padding:4px 8px;font-size:12.5px;">Q6</span>
    <span style="color:#6b7280;">→</span><span style="background:#fdf4ff;border:1px solid #f5d0fe;border-radius:6px;padding:4px 8px;font-size:12.5px;">Q8</span>
    <span style="color:#6b7280;">→</span><span style="background:#f8fafc;border:1px solid #cbd5e1;border-radius:6px;padding:4px 8px;font-size:12.5px;">FP16/BF16 无损</span>
    <span style="font-size:12px;color:#6b7280;margin-left:6px;">质量 ↑ · 体积 ↑ · 速度 ↓</span>
  </div>
</div>

各档位的关键说明

档位 判断标准 适合场景
① 入门(1-4B) 内存 8GB 以内都能跑 轻量助手、分类、抽取、嵌入式/边缘设备
② 基础(7-8B) 消费级显卡(6-8GB)甜点 日常使用性价比最高,人人都能跑
③ 进阶(14B) 12GB 显存 认真写代码、多步逻辑推理
④ 高端(27-32B) 16-24GB 显存 复杂推理、数学、长文档——你之前问的 Bonsai-2-27B 就落在这档
⑤ 旗舰(70B) 40-48GB(双卡) 综合能力拉满,接近闭源旗舰
⑥ 顶级(100B+) 多卡集群 顶尖推理,多数人跑不动

量化档位怎么配(同一模型内)

  • Q4_K_M 是公认"甜点":质量损失很小(一般 1-3%),体积和速度最平衡,绝大多数场景直接选它;
  • 显存紧张才降 Q3/Q2(质量下降明显,三元量化 PQ2_0 是特例,靠训练时重写权重保留了 98% 能力);
  • 显存充足追求质量选 Q6/Q8/FP16(体积大、速度慢,质量增益边际递减)。

按你手上硬件的直接建议

  • 8GB 显存 → 7-8B 的 Q4_K_M(或 14B 的 Q3)
  • 12GB → 14B Q4/Q6,或 27B Q3
  • 16GB → 27-32B Q4(也可用 Bonsai-2-27B PQ2_0,仅 ~7GB,能留出大量上下文空间)
  • 24GB → 32B Q6/8bit,或 70B Q2/Q3 勉强
  • 48GB / 双卡 → 70B Q4
  • 多卡 80GB×2+ → 直奔百 B 顶级档

一句话:"推理等级"约等于"参数档位 × 量化档位 × 硬件上限",三者取最小值就是你能落地的实际等级。你之前提到的 Ternary-Bonsai-2-27B-PQ2_0 的意义正在于此——27B 高端档能力、7GB 体积,让 16GB 甚至 8GB 显存的人也能摸到高端档。

需要我按你的具体显卡型号(显存多少)给一套精确的"模型 + 量化 + 启动参数"组合吗?


本地12GB 显存

Ternary-Bonsai-2-27B-PQ2_0.gguf 本地部署,12GB 显存硬件环境下的最优配置

基于已核实数据(PQ2_0 权重 7.21GB、官方 100K 上下文 + FP16 KV 峰值约 14.7GB、4-bit KV 缓存可将上下文占用压缩约 4 倍、-ctk tbqp3 -ctv tbq3 为官方 fork 的 KV 参数),12GB 显存的最优解如下。

核心结论:12GB 下这套模型可以全量 GPU 运行,最优配置是 -c 65536(64K 上下文)+ 4-bit KV 缓存 + 全层 offload + 不加视觉模块。显存预算刚好卡在 ~11.5GB,留有余量;想冲 100K 上下文也能跑,但几乎没有余量,属可试不可保证。

image

<html style="margin:0;padding:0;">
<title>Bonsai-2-27B 12GB 显存最优配置</title>
<div style="width:100%;box-sizing:border-box;max-width:980px;background:#fbfcfe;border:1px solid #e3e8ef;border-radius:12px;padding:16px 18px 14px;font-family:-apple-system,'PingFang SC','Microsoft YaHei',sans-serif;color:#1f2937;">
  <div style="font-size:16px;font-weight:700;margin-bottom:4px;">12GB 显存预算分配(-c 65536 · 4-bit KV · 全 GPU)</div>
  <div style="font-size:13px;color:#6b7280;margin-bottom:10px;">估算值:依据官方 100K/FP16-KV ≈ 14.7GB 峰值反推,4-bit KV 后上下文占用约 1/4</div>

  <div style="background:#f1f5f9;border-radius:8px;padding:3px;margin-bottom:6px;">
    <div style="display:flex;height:34px;border-radius:6px;overflow:hidden;font-size:12.5px;font-weight:600;">
      <div style="width:60%;background:#1d4ed8;color:#fff;display:flex;align-items:center;justify-content:center;">权重 PQ2_0 ≈ 7.2GB</div>
      <div style="width:10%;background:#0891b2;color:#fff;display:flex;align-items:center;justify-content:center;">KV 1.2</div>
      <div style="width:16.7%;background:#f59e0b;color:#fff;display:flex;align-items:center;justify-content:center;">计算缓冲 ≈2GB</div>
      <div style="width:13.3%;background:#94a3b8;color:#fff;display:flex;align-items:center;justify-content:center;">余量 1.6</div>
    </div>
  </div>
  <div style="font-size:12px;color:#475569;margin-bottom:12px;">合计 ≈ 11.4GB / 12GB —— 稳妥;若 -c 100000(≈12.1GB)则临界,OOM 概率上升</div>

  <div style="font-size:13.5px;font-weight:700;color:#374151;margin:8px 0 4px;">最优配置速查</div>
  <div style="display:grid;grid-template-columns:150px 1fr 1.6fr;gap:0;border:1px solid #dde3ea;border-radius:10px;overflow:hidden;">
    <div style="background:#eef2f7;padding:7px 10px;font-size:12px;font-weight:600;color:#374151;border-bottom:1px solid #dde3ea;">参数</div>
    <div style="background:#eef2f7;padding:7px 10px;font-size:12px;font-weight:600;color:#374151;border-bottom:1px solid #dde3ea;border-left:1px solid #dde3ea;">最优值</div>
    <div style="background:#eef2f7;padding:7px 10px;font-size:12px;font-weight:600;color:#374151;border-bottom:1px solid #dde3ea;border-left:1px solid #dde3ea;">说明 / 降级路径</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">-c 上下文</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>65536</b></div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">OOM → 49152 → 32768;显存富余可试 100000</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">--n-gpu-layers</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>999(全量)</b></div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">OOM → 56~64(部分层走 CPU,速度下降)</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">KV 缓存</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>-ctk tbqp3 -ctv tbq3</b></div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">Bonsai 专用 4-bit KV,必须用官方 fork 才支持</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">--mmproj</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>不加(纯文本)</b></div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">视觉模块 ~0.63GB,12GB 下建议按需再加</div>

    <div style="padding:8px 10px;font-weight:600;border-bottom:1px solid #e5e9ee;">thinking</div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;"><b>按任务切</b></div>
    <div style="padding:8px 10px;border-bottom:1px solid #e5e9ee;border-left:1px solid #e5e9ee;">复杂推理 true;日常对话 false(更快)</div>

    <div style="padding:8px 10px;font-weight:600;">采样</div>
    <div style="padding:8px 10px;border-left:1px solid #e5e9ee;"><b>thinking: 0.6/0.95</b><br>非 thinking: 0.7/0.8</div>
    <div style="padding:8px 10px;border-left:1px solid #e5e9ee;">top_k=20,禁贪心解码,thinking 模式需 stream</div>
  </div>
  <div style="font-size:12px;color:#6b7280;margin-top:8px;">性能预期(估算,随显卡带宽变化):RTX 3060/3080 级约 15~50 token/s,三元量化 + 全 GPU + DSpark 投机解码下日常对话流畅。</div>
</div>

可直接复制的完整启动命令

llama-server \
  -m /models/Ternary-Bonsai-2-27B-PQ2_0.gguf \
  -c 65536 \
  --n-gpu-layers 999 \
  -ctk tbqp3 -ctv tbq3 \
  --no-context-shift \
  --host 0.0.0.0 \
  --port 8080

各参数为什么这么设:

  • -c 65536:64K 上下文是 12GB 显存下的性价比甜点——足以装下长文档/多轮对话,显存还有 0.6GB 余量;-c 100000 在 12GB 上属于临界(12.1GB),能起但风险高
  • -ctk tbqp3 -ctv tbq3:Bonsai 专用的 4-bit/ternary KV 缓存类型,上下文显存占用约降到 FP16 的 1/4,是 12GB 能跑 64K 的关键
  • --no-context-shift:官方建议关闭上下文滑动(滑动会导致长文中间内容被丢弃)
  • 不加 --mmproj:视觉塔约 0.63GB,纯文本场景省下来给上下文;要用图再单独加

API 调用(OpenAI 兼容)

curl [http://localhost:8080/v1/chat/completions](http://localhost:8080/v1/chat/completions) \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Ternary-Bonsai-2-27B-PQ2_0.gguf",
    "messages": [{"role":"user","content":"你的问题"}],
    "max_tokens": 8192,
    "stream": true,
    "chat_template_kwargs": {"enable_thinking": true},
    "temperature": 0.6, "top_p": 0.95, "top_k": 20
  }'

如果启动时报 OOM / 显存不足,按这个顺序降级:

  1. -c 65536 → -c 49152 → -c 32768(优先砍上下文,KV 是最省显存的地方)
  2. --n-gpu-layers 999 → 56~64(让一部分层跑 CPU,速度下降但能跑)
  3. 关掉系统中其他吃显存的程序(浏览器/桌面合成器等)

启动后验证是否吃满最优配置:

  • 打开 [http://localhost:8080/props](http://localhost:8080/props) 或看启动日志:确认 n_ctx = 65536、n_gpu_layers 全量加载、KV 类型为 ternary 4-bit;
  • 再发一个长请求验证不再出现 context_exceeded(之前 38670 tokens 的报错在 64K 下已可容纳)。

需要我顺手把它写成一份 docker-compose.yml(持久化模型目录 + 端口 + 自动重启)方便你一键起服务吗?


Ternary-Bonsai-2-27B-PQ2_0 本地部署资料参考

给我找一些 Ternary-Bonsai-2-27B-PQ2_0 本地部署的参考资料,给出约 5~10 个优秀资料的链接

资料已核实齐全。说明一点:Bonsai 2 27B(PQ2_0 所在代次)是 2026-09-17 刚发布的,专门的第三方教程还不多,所以清单以官方权威资料为主 + 第一代 Ternary-Bonsai-27B 的实战教程为辅——两代共用同一套 PrismML llama.cpp fork 和部署流程,参数 90% 通用,参考价值完全适用。

官方权威资料(5 个,必看)

  1. PrismML 官方文档 · Bonsai 27B 模型总览
    https://docs.prismml.com/models/bonsai-27b
    官方文档:所有 27B 仓库一览(Ternary GGUF / MLX / 1-bit / AWQ),含各格式体积与说明,是判断"该下哪个文件"的第一入口。

  2. PrismML 官方文档 · 模型下载指南
    https://docs.prismml.com/download/models
    仓库命名规则(prism-ml/Ternary-Bonsai-2-{SIZE}-gguf 等)与下载方式,避免下错版本。

  3. HuggingFace 官方模型卡 · Ternary-Bonsai-2-27B-gguf(PQ2_0 / PTQ1_0 就在这)
    https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf
    官方模型卡:两种打包格式区别、部署要求(自定义 fork)、whitepaper 与 benchmark 链接。你手上这份 PQ2_0 的权威说明在这里。

  4. 官方 Demo 仓库 · PrismML-Eng/Bonsai-demo(运行模型的"事实来源")
    https://github.com/PrismML-Eng/Bonsai-demo
    官方明确标注这是 running the models 的 source of truth:启动命令、serving、benchmark 与集成示例都在这。

  5. 官方 llama.cpp fork · PrismML-Eng/llama.cpp(必装后端)
    https://github.com/PrismML-Eng/llama.cpp
    Bonsai 需要 Hadamard 变换,主线 llama.cpp 尚未合入,必须用这个 fork 编译/下载——这是很多部署失败的根因。

部署教程与实测(5 个)

  1. MindStudio · How to Run Bonsai 2 27B Locally: Full Install Guide
    https://www.mindstudio.ai/blog/bonsai-2-27b-local-install
    目前少有的专门针对 Bonsai 2 27B 的完整安装指南:fork 编译、显存估算(6~8GB 可跑)、常见坑,最贴近你的需求。

  2. Habr · Qwen 3.6 27B 在 8-12GB VRAM 下用 llama.cpp 跑到 256K 上下文
    https://habr.com/en/articles/1059792/
    给出可直接抄的 llama-server 完整启动命令(-c 256000、--mmproj、-ctk tbqp3 -ctv tbq3、--no-context-shift)——和你的 12GB 场景高度吻合,是我前面配置方案的主要参考。

  3. 掘金 · 5060 Ti 部署 Ternary-Bonsai-27B 历险记(中文实战)
    https://juejin.cn/post/7663409514727047214
    中文完整流程:hf download 拉模型 → 启动脚本 → 接入 Claude Code 用 OpenAI 兼容 API,Windows 用户友好。

  4. MarkTechPost · Deploying Bonsai-27B with PrismML llama.cpp and OpenAI-Compatible Local Inference
    https://www.marktechpost.com/2026/07/28/deploying-a-1-bit-bonsai-27b-model-with-prismml-llama-cpp-and-openai-compatible-local-inference-workflows/amp/
    聚焦"OpenAI 兼容 API + 本地推理"工作流,与你要的"通过 API 访问"直接相关。

  5. NVIDIA Developer Forums · Qwen3.6 27B Binary/Ternary release by Prism-ML(社区实测)
    https://forums.developer.nvidia.com/t/qwen3-6-27b-binary-ternary-release-by-prism-ml/376879
    真实用户踩坑记录:Spark 上重新编译 fork 运行、启动参数、实测体验,解决报错时很有参考价值。

补充:国内下载可走魔搭镜像(ModelScope)prism-ml/Ternary-Bonsai-27B-gguf,速度快:https://modelscope.cn/models/prism-ml/Ternary-Bonsai-27B-gguf

建议的阅读顺序:先看 3(HF 模型卡)+ 4(Bonsai-demo) 搞清文件与运行前提 → 再看 6(MindStudio 安装指南) 完成部署 → 遇到显存/参数问题翻 7(Habr),报错排查翻 10(NVIDIA 论坛)。中文快速上手直接看 8(掘金)。

posted @ 2026-09-23 17:38  念槐聚  阅读(119)  评论(0)    收藏  举报