gpustack

摘要： 本文由 GPUStack 社区用户投稿整理，介绍如何将 MinerU Fast API 接入 GPUStack，通过自定义推理后端实现复杂 PDF 解析服务的部署与调用。 阅读全文

摘要： Inkling 是由 Thinking Machines Lab 发布的新一代开源多模态大语言模型，采用 Mixture-of-Experts（MoE）Transformer 架构，支持文本、图像和音频等多模态输入，并生成文本输出。模型拥有约 975B 总参数、41B 激活参数，并支持最长 1M t 阅读全文

摘要： 本文由 GPUStack 社区用户实测分享整理。GLM-5.2-FP8-DSpark 是在 GLM-5.2-FP8 基础上，通过挂载 RedHatAI 提供的外置草稿模型（Speculator）做投机解码（Speculative Decoding）的增强方案——同一份主模型权重，额外加载一个草稿模型，用来提升解码吞吐。社区用户在模型放出当天（Day 0）就在 **8 卡 H20-141G** 环境上，通过 GPUStack 完成了部署，并和原生 GLM-5.2-FP8 做了同硬件对比压测。 阅读全文

摘要： GPUStack 全新的 用量统计（Usage） 功能正式上线了——Token 消耗、GPU/CPU 实例运行时长、存储容量占用，三类资源的消耗一目了然。谁在用、用了多少、花在了哪个模型上，再也不用靠猜。 阅读全文

摘要： 本文由 GPUStack 社区用户实测分享整理。DeepSeek-V4-Flash-DSpark 是在 DeepSeek-V4-Flash 基础上挂载了投机解码（Speculative Decoding）模块的增强版本——同一份权重，额外的投机模块，让吞吐和首 Token 时延同时变好。 社区用户拿 阅读全文

摘要： MiniMax-M3 是 MiniMax 最新开源的原生多模态大模型，约428B 总参数/23B激活参数，原生支持1M上下文。本文基于 GPUStack 与VLLM，演示从镜像与权重准备、模型部署、对话实测到基准测试的完整流程，并实测了基于 EAGLE3 的投机解码加速。 阅读全文

摘要： 没有 GPU，还能跑大模型吗？vLLM vs llama.cpp 实测对比 在没有 GPU 的情况下，大模型还能不能“真正可用”？本文基于 GPUStack，对 vLLM-CPU 与 llama.cpp 进行完整实测，对比两者在纯 CPU 环境下的部署方式、推理性能、高并发表现与实际适用场景。 关注 阅读全文

摘要： MiniCPM-V 4.6 部署实战：基于 GPUStack 与 SGLang 的端侧多模态模型部署 MiniCPM-V 4.6 是 1.3B 参数的轻量级多模态模型，支持图像、视频理解。本文演示了基于 GPUStack 与 SGLang 的部署、测试与视觉 token 压缩配置流程。 关注🌟⌈G 阅读全文

摘要： NVIDIA H200/H20 141GB 环境部署 DeepSeek-V4-Pro 的实践教程、压测性能表现，以及针对压测表现提供的稳定性配置建议。 阅读全文

摘要： 在昇腾 910B 环境部署 DeepSeek-V4 的实践教程。 阅读全文