gpustack

摘要： DeepSeek-V4.1 原生支持 DSpark 投机解码，但不同任务的加速收益差异显著。本文基于 GPUStack 和 4 张 H200，实测 JSON、代码、散文、长上下文及并发场景，分析草稿接受率、吞吐与显存代价，并给出可直接复用的配置方法、验证指标、避坑建议和回滚流程。 阅读全文

摘要： 本文实测使用 GPUStack 在 8 张 H20 上部署 320B 参数的 GLM-5.3-Flash，完整介绍专用 vLLM 镜像、后端配置与避坑要点，并验证多模态及 512K 长上下文能力。基准测试总吞吐量达 7907.54 Tokens/s，为企业构建私有化多模态 Agent 服务提供参考。 阅读全文

摘要： DeepSeek-V4-Flash-Vision-Exp 正式开源，多模态 Agent 能力进一步升级。本文基于 4 卡 H20-96G 环境，实测如何通过 GPUStack 完成模型部署，并验证图像理解、工具调用及推理性能，带你快速跑通 DeepSeek V4 首个多模态版本。 阅读全文

摘要： 本文实测 GPUStack 在 H20 与昇腾 910B 上部署 DeepSeek-V4-Flash-0731，解析 DSpark 加速、长上下文性能及生产配置建议。 阅读全文

摘要： 本文以单台 8×B300 服务器为例，演示如何在 GPUStack 中接入 TileRT 定制 vLLM 后端，完成 GLM-5.1 的 Prefill / Decode（PD）分离部署、路由配置与性能验证。 阅读全文

摘要： 本文记录 Kimi-K3 在单机 8×NVIDIA B300 环境中的部署与压测过程，并对 vLLM、SGLang 两套推理引擎在 64K 与 200K 长上下文场景下的表现进行拆解。测试显示：64K 输入下 vLLM 更快，200K 输入下 SGLang + DCP 反超；真正拉开差距的不是 Pr 阅读全文

摘要： 本文由 GPUStack 社区用户投稿整理，介绍如何将 MinerU Fast API 接入 GPUStack，通过自定义推理后端实现复杂 PDF 解析服务的部署与调用。 阅读全文

摘要： Inkling 是由 Thinking Machines Lab 发布的新一代开源多模态大语言模型，采用 Mixture-of-Experts（MoE）Transformer 架构，支持文本、图像和音频等多模态输入，并生成文本输出。模型拥有约 975B 总参数、41B 激活参数，并支持最长 1M t 阅读全文

摘要： 本文由 GPUStack 社区用户实测分享整理。GLM-5.2-FP8-DSpark 是在 GLM-5.2-FP8 基础上，通过挂载 RedHatAI 提供的外置草稿模型（Speculator）做投机解码（Speculative Decoding）的增强方案——同一份主模型权重，额外加载一个草稿模型，用来提升解码吞吐。社区用户在模型放出当天（Day 0）就在 **8 卡 H20-141G** 环境上，通过 GPUStack 完成了部署，并和原生 GLM-5.2-FP8 做了同硬件对比压测。 阅读全文

摘要： GPUStack 全新的 用量统计（Usage） 功能正式上线了——Token 消耗、GPU/CPU 实例运行时长、存储容量占用，三类资源的消耗一目了然。谁在用、用了多少、花在了哪个模型上，再也不用靠猜。 阅读全文