摘要: 基于海光的 GPUStack 部署方案指导——以 Qwen3.6-27B 为例 本文以Qwen3.6-27B为例,介绍在海光BW1000八卡服务器上使用GPUStack部署大模型的完整流程,涵盖节点接入、自定义vLLM与DTK后端配置、本地模型部署、对话及API调用和性能测试。模型采用FP16八卡张量并行,实测8个请求全部成功,平均输出吞吐量为99.8 Tokens/s,并总结环境适配、模型完整性、首次初始化及基准测试注意事项,为部署复现提供参考。 阅读全文
posted @ 2026-10-14 10:28 GPUStack 阅读(80) 评论(0) 推荐(0)
摘要: GPUStack × Jev:决策路由的机制、配置与验证 GPUStack v2.3.0rc2 预览版发布了。这一版的高级路由中,有一个值得动手验证的能力:基于 Jev 决策服务选择模型。 当 GPUStack 中同时有多个模型时,应用通常需要指定调用哪一个。接入决策路由后,应用可以始终请求同一个入口,由网关结合任务内容和管理员设定的策略选择生成模型。 这 阅读全文
posted @ 2026-10-12 18:24 GPUStack 阅读(105) 评论(0) 推荐(0)
摘要: 近日,GPUStack 宣布完成 5000 万元 Pre-A 轮融资。本轮融资由帝欧水华集团股份有限公司(002798.SZ)旗下全资子公司水华未来领投,GRC 富华资本跟投。融资完成后,水华未来成为 GPUStack 研发主体数澈软件(深圳)有限公司第二大股东。 阅读全文
posted @ 2026-10-09 10:32 GPUStack 阅读(28) 评论(0) 推荐(0)
摘要: 一张 A800 80GB,跑通 Qwen-Image-2.1:GPUStack 部署、生成与图像编辑实战 本文基于 NVIDIA A800 80GB 和 GPUStack,实测部署 Qwen-Image-2.1,介绍 vLLM-Omni 后端配置,以及文生图、多图编辑、透明图生成的调用方法,并提供 OpenAI 兼容接口示例。 阅读全文
posted @ 2026-10-08 15:54 GPUStack 阅读(115) 评论(0) 推荐(0)
摘要: GPUStack 实战:一行配置开启 DeepSeek-V4.1 DSpark,JSON 吞吐提升 3.8 倍 DeepSeek-V4.1 原生支持 DSpark 投机解码,但不同任务的加速收益差异显著。本文基于 GPUStack 和 4 张 H200,实测 JSON、代码、散文、长上下文及并发场景,分析草稿接受率、吞吐与显存代价,并给出可直接复用的配置方法、验证指标、避坑建议和回滚流程。 阅读全文
posted @ 2026-09-23 15:50 GPUStack 阅读(104) 评论(0) 推荐(0)
摘要: GPUStack 部署实战:8 卡 H20 跑通 GLM-5.3-Flash,解锁 512K 长上下文与多模态 本文实测使用 GPUStack 在 8 张 H20 上部署 320B 参数的 GLM-5.3-Flash,完整介绍专用 vLLM 镜像、后端配置与避坑要点,并验证多模态及 512K 长上下文能力。基准测试总吞吐量达 7907.54 Tokens/s,为企业构建私有化多模态 Agent 服务提供参考。 阅读全文
posted @ 2026-09-15 10:18 GPUStack 阅读(312) 评论(0) 推荐(0)
摘要: DeepSeek-V4-Flash-Vision-Exp 部署实战:用 GPUStack 搭建多模态 Agent 服务 DeepSeek-V4-Flash-Vision-Exp 正式开源,多模态 Agent 能力进一步升级。本文基于 4 卡 H20-96G 环境,实测如何通过 GPUStack 完成模型部署,并验证图像理解、工具调用及推理性能,带你快速跑通 DeepSeek V4 首个多模态版本。 阅读全文
posted @ 2026-09-10 11:19 GPUStack 阅读(176) 评论(0) 推荐(0)
摘要: GPUStack 部署 DeepSeek-V4-Flash-0731 双平台实测:H20 单并发 600+ TPS,昇腾 910B 表现如何? 本文实测 GPUStack 在 H20 与昇腾 910B 上部署 DeepSeek-V4-Flash-0731,解析 DSpark 加速、长上下文性能及生产配置建议。 阅读全文
posted @ 2026-08-06 11:15 GPUStack 阅读(861) 评论(0) 推荐(0)
摘要: GPUStack × TileRT × B300:GLM-5.1 高速版复现,解码吞吐 500+ TPS 本文以单台 8×B300 服务器为例,演示如何在 GPUStack 中接入 TileRT 定制 vLLM 后端,完成 GLM-5.1 的 Prefill / Decode(PD)分离部署、路由配置与性能验证。 阅读全文
posted @ 2026-08-04 17:48 GPUStack 阅读(73) 评论(0) 推荐(0)
摘要: GPUStack Day 0 支持 Kimi-K3:8×B300 上 vLLM 与 SGLang 推理实测 本文记录 Kimi-K3 在单机 8×NVIDIA B300 环境中的部署与压测过程,并对 vLLM、SGLang 两套推理引擎在 64K 与 200K 长上下文场景下的表现进行拆解。测试显示:64K 输入下 vLLM 更快,200K 输入下 SGLang + DCP 反超;真正拉开差距的不是 Pr 阅读全文
posted @ 2026-07-30 15:23 GPUStack 阅读(333) 评论(0) 推荐(0)