摘要:
本文以Qwen3.6-27B为例,介绍在海光BW1000八卡服务器上使用GPUStack部署大模型的完整流程,涵盖节点接入、自定义vLLM与DTK后端配置、本地模型部署、对话及API调用和性能测试。模型采用FP16八卡张量并行,实测8个请求全部成功,平均输出吞吐量为99.8 Tokens/s,并总结环境适配、模型完整性、首次初始化及基准测试注意事项,为部署复现提供参考。 阅读全文
本文以Qwen3.6-27B为例,介绍在海光BW1000八卡服务器上使用GPUStack部署大模型的完整流程,涵盖节点接入、自定义vLLM与DTK后端配置、本地模型部署、对话及API调用和性能测试。模型采用FP16八卡张量并行,实测8个请求全部成功,平均输出吞吐量为99.8 Tokens/s,并总结环境适配、模型完整性、首次初始化及基准测试注意事项,为部署复现提供参考。 阅读全文
posted @ 2026-10-14 10:28
GPUStack
阅读(80)
评论(0)
推荐(0)

GPUStack v2.3.0rc2 预览版发布了。这一版的高级路由中,有一个值得动手验证的能力:基于 Jev 决策服务选择模型。 当 GPUStack 中同时有多个模型时,应用通常需要指定调用哪一个。接入决策路由后,应用可以始终请求同一个入口,由网关结合任务内容和管理员设定的策略选择生成模型。 这
本文基于 NVIDIA A800 80GB 和 GPUStack,实测部署 Qwen-Image-2.1,介绍 vLLM-Omni 后端配置,以及文生图、多图编辑、透明图生成的调用方法,并提供 OpenAI 兼容接口示例。
DeepSeek-V4.1 原生支持 DSpark 投机解码,但不同任务的加速收益差异显著。本文基于 GPUStack 和 4 张 H200,实测 JSON、代码、散文、长上下文及并发场景,分析草稿接受率、吞吐与显存代价,并给出可直接复用的配置方法、验证指标、避坑建议和回滚流程。
本文实测使用 GPUStack 在 8 张 H20 上部署 320B 参数的 GLM-5.3-Flash,完整介绍专用 vLLM 镜像、后端配置与避坑要点,并验证多模态及 512K 长上下文能力。基准测试总吞吐量达 7907.54 Tokens/s,为企业构建私有化多模态 Agent 服务提供参考。
DeepSeek-V4-Flash-Vision-Exp 正式开源,多模态 Agent 能力进一步升级。本文基于 4 卡 H20-96G 环境,实测如何通过 GPUStack 完成模型部署,并验证图像理解、工具调用及推理性能,带你快速跑通 DeepSeek V4 首个多模态版本。
本文实测 GPUStack 在 H20 与昇腾 910B 上部署 DeepSeek-V4-Flash-0731,解析 DSpark 加速、长上下文性能及生产配置建议。
本文以单台 8×B300 服务器为例,演示如何在 GPUStack 中接入 TileRT 定制 vLLM 后端,完成 GLM-5.1 的 Prefill / Decode(PD)分离部署、路由配置与性能验证。
本文记录 Kimi-K3 在单机 8×NVIDIA B300 环境中的部署与压测过程,并对 vLLM、SGLang 两套推理引擎在 64K 与 200K 长上下文场景下的表现进行拆解。测试显示:64K 输入下 vLLM 更快,200K 输入下 SGLang + DCP 反超;真正拉开差距的不是 Pr
浙公网安备 33010602011771号