2026年8月4日
GPUStack × TileRT × B300：GLM-5.1 高速版复现，解码吞吐 500+ TPS
摘要： GPUStack × TileRT × B300：GLM-5.1 高速版复现，解码吞吐 500+ TPS 本文以单台 8×B300 服务器为例，演示如何在 GPUStack 中接入 TileRT 定制 vLLM 后端，完成 GLM-5.1 的 Prefill / Decode（PD）分离部署、路由配置与性能验证。 阅读全文
posted @ 2026-08-04 17:48 GPUStack 阅读(55) 评论(0) 推荐(0)