gpustack

摘要： 本文由 GPUStack 社区用户实测分享整理。DeepSeek-V4-Flash-DSpark 是在 DeepSeek-V4-Flash 基础上挂载了投机解码（Speculative Decoding）模块的增强版本——同一份权重，额外的投机模块，让吞吐和首 Token 时延同时变好。 社区用户拿 阅读全文

摘要： MiniMax-M3 是 MiniMax 最新开源的原生多模态大模型，约428B 总参数/23B激活参数，原生支持1M上下文。本文基于 GPUStack 与VLLM，演示从镜像与权重准备、模型部署、对话实测到基准测试的完整流程，并实测了基于 EAGLE3 的投机解码加速。 阅读全文

摘要： 没有 GPU，还能跑大模型吗？vLLM vs llama.cpp 实测对比 在没有 GPU 的情况下，大模型还能不能“真正可用”？本文基于 GPUStack，对 vLLM-CPU 与 llama.cpp 进行完整实测，对比两者在纯 CPU 环境下的部署方式、推理性能、高并发表现与实际适用场景。 关注 阅读全文

摘要： MiniCPM-V 4.6 部署实战：基于 GPUStack 与 SGLang 的端侧多模态模型部署 MiniCPM-V 4.6 是 1.3B 参数的轻量级多模态模型，支持图像、视频理解。本文演示了基于 GPUStack 与 SGLang 的部署、测试与视觉 token 压缩配置流程。 关注🌟⌈G 阅读全文

摘要： NVIDIA H200/H20 141GB 环境部署 DeepSeek-V4-Pro 的实践教程、压测性能表现，以及针对压测表现提供的稳定性配置建议。 阅读全文

摘要： 在昇腾 910B 环境部署 DeepSeek-V4 的实践教程。 阅读全文

摘要： vLLM 和 SGLang 对 Qwen3.6-27B 的完整部署测试教程与性能测试表现 阅读全文

摘要： 多节点 Data Parallel 部署可基于各节点负载动态分发请求，减少长请求阻塞带来的性能抖动，在高并发场景下提升整体吞吐稳定性。 阅读全文

摘要： 在当前大模型推理逐步走向生产化的背景下，如何在多样化硬件环境上高效、稳定地管理推理服务，在工程落地中尤其关键。尤其是在国产 GPU 场景中，不同推理引擎、驱动栈与部署方式之间的组合复杂度明显提升，单纯依赖手工部署或脚本维护，往往难以兼顾效率与可运维性。 GPUStack 是面向生产环境的开源 AI 阅读全文

摘要： 本文基于 Qwen3.5 在 H100/H200 上的实测，分析 vLLM performance-mode 的实际作用。结果表明，它并非独立提速手段，而是结合量化、cache 等优化，用于收敛低延迟或高吞吐目标，主要价值在于缩小调优范围。 阅读全文