gpustack

摘要： 本文实测 GPUStack 在 H20 与昇腾 910B 上部署 DeepSeek-V4-Flash-0731，解析 DSpark 加速、长上下文性能及生产配置建议。 阅读全文

摘要： 本文以单台 8×B300 服务器为例，演示如何在 GPUStack 中接入 TileRT 定制 vLLM 后端，完成 GLM-5.1 的 Prefill / Decode（PD）分离部署、路由配置与性能验证。 阅读全文

摘要： 本文记录 Kimi-K3 在单机 8×NVIDIA B300 环境中的部署与压测过程，并对 vLLM、SGLang 两套推理引擎在 64K 与 200K 长上下文场景下的表现进行拆解。测试显示：64K 输入下 vLLM 更快，200K 输入下 SGLang + DCP 反超；真正拉开差距的不是 Pr 阅读全文

摘要： 本文由 GPUStack 社区用户投稿整理，介绍如何将 MinerU Fast API 接入 GPUStack，通过自定义推理后端实现复杂 PDF 解析服务的部署与调用。 阅读全文

摘要： Inkling 是由 Thinking Machines Lab 发布的新一代开源多模态大语言模型，采用 Mixture-of-Experts（MoE）Transformer 架构，支持文本、图像和音频等多模态输入，并生成文本输出。模型拥有约 975B 总参数、41B 激活参数，并支持最长 1M t 阅读全文

摘要： 本文由 GPUStack 社区用户实测分享整理。GLM-5.2-FP8-DSpark 是在 GLM-5.2-FP8 基础上，通过挂载 RedHatAI 提供的外置草稿模型（Speculator）做投机解码（Speculative Decoding）的增强方案——同一份主模型权重，额外加载一个草稿模型，用来提升解码吞吐。社区用户在模型放出当天（Day 0）就在 **8 卡 H20-141G** 环境上，通过 GPUStack 完成了部署，并和原生 GLM-5.2-FP8 做了同硬件对比压测。 阅读全文

摘要： GPUStack 全新的 用量统计（Usage） 功能正式上线了——Token 消耗、GPU/CPU 实例运行时长、存储容量占用，三类资源的消耗一目了然。谁在用、用了多少、花在了哪个模型上，再也不用靠猜。 阅读全文

摘要： 本文由 GPUStack 社区用户实测分享整理。DeepSeek-V4-Flash-DSpark 是在 DeepSeek-V4-Flash 基础上挂载了投机解码（Speculative Decoding）模块的增强版本——同一份权重，额外的投机模块，让吞吐和首 Token 时延同时变好。 社区用户拿 阅读全文

摘要： MiniMax-M3 是 MiniMax 最新开源的原生多模态大模型，约428B 总参数/23B激活参数，原生支持1M上下文。本文基于 GPUStack 与VLLM，演示从镜像与权重准备、模型部署、对话实测到基准测试的完整流程，并实测了基于 EAGLE3 的投机解码加速。 阅读全文

摘要： 没有 GPU，还能跑大模型吗？vLLM vs llama.cpp 实测对比 在没有 GPU 的情况下，大模型还能不能“真正可用”？本文基于 GPUStack，对 vLLM-CPU 与 llama.cpp 进行完整实测，对比两者在纯 CPU 环境下的部署方式、推理性能、高并发表现与实际适用场景。 关注 阅读全文