摘要: GPUStack v2:推理加速释放算力潜能,开源重塑大模型推理下半场 在大模型推理的下半场,GPUStack v2 不再是简单的模型服务平台,而是高性能推理生态的协调者与赋能者。 阅读全文
posted @ 2025-11-25 17:35 GPUStack 阅读(1910) 评论(0) 推荐(0)
摘要: 昇腾多机推理极速上手:10倍简化的 DeepSeek R1 超大规模模型部署 昇腾多机推理太复杂?易出错?试试 GPUStack 阅读全文
posted @ 2025-09-27 10:55 GPUStack 阅读(1002) 评论(1) 推荐(0)
摘要: 45分钟从零搭建私有MaaS平台和生产级的Qwen3模型服务 在 45 分钟内搭建 GPUStack 模型服务平台并运行生产级的 Qwen3 模型服务。 阅读全文
posted @ 2025-04-29 17:07 GPUStack 阅读(1779) 评论(0) 推荐(0)
摘要: GPUStack正式发布: 为大模型而生的开源GPU集群管理器 GPUStack 正式发布并开源,一个用于运行 LLM(大型语言模型)的开源 GPU 集群管理器。 阅读全文
posted @ 2024-07-26 16:15 GPUStack 阅读(11168) 评论(0) 推荐(0)
摘要: 生产 GPU 集群不能动,我用四台虚拟机搭了一套 GPUStack 实验环境 不动生产 GPU 集群,也能先把部署链路跑通。本文记录用四台无 GPU 虚拟机搭建 Kubernetes 与 GPUStack 实验环境的全过程,复盘双网卡选址、NFS 存储冲突、网关 CPU 限流、Worker 重启、模型 API 参数、TLS 证书及公网防火墙等问题。通过纯 CPU 部署小模型,验证调度、存储、鉴权和外部访问链路,并梳理上线前仍需补齐的高可用、性能与安全措施。 阅读全文
posted @ 2026-11-12 16:18 GPUStack 阅读(22) 评论(0) 推荐(0)
摘要: 双机 16 卡 Ascend 910B3 部署 DeepSeek-V4.1-Flash-1017(W8A8) 本文记录使用 GPUStack 在两台 Atlas 800 A2 服务器、16 张昇腾 910B3 上跨机部署 DeepSeek-V4.1-Flash-1017 W8A8 的完整过程,涵盖自定义后端、通信问题排查、YAML 配置及性能测试,并总结 V1/V2 配置差异与部署注意事项,为昇腾集群的大模型部署提供实践参考。 阅读全文
posted @ 2026-11-11 11:36 GPUStack 阅读(133) 评论(0) 推荐(0)
摘要: 大模型实战|实测:8 卡平头哥 ZW610E,在 GPUStack 上跑通大模型 文章记录8卡平头哥ZW610E一体机通过GPUStack与vLLM部署Qwen3-14B、32B及Embedding-8B的全过程,涵盖镜像离线搬运、存储迁移、多卡通信和模型路由等问题。实测32B四卡短文本峰值吞吐1966 tok/s,14B单卡1223 tok/s;短问答侧重14B每卡效率,长文档与RAG侧重32B。文中结合延迟指标给出运营并发建议,并说明仍需补测的场景。 标签 阅读全文
posted @ 2026-11-09 10:55 GPUStack 阅读(28) 评论(0) 推荐(0)
摘要: 官方说不支持?但我还是用 GPUStack 在 DGX Spark 上跑通了 Qwen-Image-2.1 官方文档写着ARM不支持,DGX Spark就真跑不了?本文从实测出发,记录Qwen-Image-2.1的镜像构建、依赖保护、网络排障与GPUStack接入过程,验证文生图、图改图、原生透明底及LoRA加载链路。无需更换硬件或升级驱动,即可通过统一API提供图像服务,1024×1024文生图实测49秒,并说明性能与验证边界。 标签 阅读全文
posted @ 2026-11-03 15:23 GPUStack 阅读(25) 评论(0) 推荐(0)
摘要: 8×Tesla T10 跑通 GPUStack:SM75 完整部署实战 本文基于八张Tesla T10显卡,完整介绍SM75架构下GPUStack与定制vLLM后端的部署实践。从环境检查、镜像构建、服务与工作节点配置,到量化模型上线,逐步讲解八卡并行、显存申报、图像输入及编译缓存等关键设置。同时涵盖控制面板、Ultra工作台、BenchLocal校验器、吞吐测速与雷达图评测,并提供多用户API接入、验收步骤和常见故障排查方法,帮助读者完成从部署到验证的全流程。 阅读全文
posted @ 2026-10-30 14:17 GPUStack 阅读(29) 评论(0) 推荐(0)
摘要: 8 张 A100 跑通 DeepSeek-V4.1-Flash-1017:能跑多快,代价多大? 本文记录通过 GPUStack 与 vllm-backport,在单机 8 张 A100 上部署 DeepSeek-V4.1-Flash-1017 的完整实践,解析低精度权重兼容、显存分配与百万上下文支持。五组压测显示,单流输出达 129 token/s,长输出吞吐达 1,537 token/s,同时揭示高并发延迟、缓存容量与参数调优之间的取舍。 阅读全文
posted @ 2026-10-29 10:46 GPUStack 阅读(376) 评论(0) 推荐(0)
摘要: GPUStack v2.3:PD 分离、共享缓存、vGPU 与弹性调度背后的系统化推理工程 推理优化如何落地为可持续运营的模型服务?GPUStack v2.3 将自动 PD 分离编排、共享 KV Cache、vGPU 切分、智能压测与定时伸缩纳入统一管理流程,并通过 OTA、配置复用与版本回滚支持持续更新。本文结合实际场景,解读资源、实例、缓存与流量如何协同,让部署、性能验证与日常运营形成完整链路。 阅读全文
posted @ 2026-10-27 09:55 GPUStack 阅读(85) 评论(0) 推荐(0)
摘要: DeepInfer 能否跑赢 vLLM?GPUStack 八卡 B200 实测结果来了 本文介绍通过DeepInfer-server将DeepInfer接入GPUStack,在单机八卡B200上部署DeepSeek-V4.1-Flash,并与vLLM进行同硬件、相近并行策略的性能对比。本轮16并发测试中,DeepInfer平均输出吞吐高约25.2%,但首token延迟和P95请求延迟更高。文章涵盖服务封装、自定义后端部署与测试方法,为推理引擎选型提供参考,结果不代表双方性能上限。 阅读全文
posted @ 2026-10-22 10:53 GPUStack 阅读(168) 评论(0) 推荐(0)
摘要: 从 24 到 51 tok/s:用 GPUStack 调优 4 台 DGX Spark 上的 GLM 推理 不换硬件,推理速度还能翻倍?本文记录用GPUStack管理4台DGX Spark、运行GLM的调优过程,涵盖网络优化、MTP投机解码适配与多节点排障。实测单流解码速度从24.3提升至51.3 tok/s,并发吞吐同步提升,为小规模推理集群提供参考。 阅读全文
posted @ 2026-10-22 10:11 GPUStack 阅读(49) 评论(0) 推荐(0)
摘要: 两张老 V100 还能做什么?用 GPUStack 跑通 Qwen-Image-2.1,LoRA + RGBA + Skills 全过 两张老 V100 如何跑通 Qwen-Image-2.1?本文分享基于 GPUStack 的部署实践,通过双卡分段加载、自定义推理后端和 FP16 配置,实现文生图、图像编辑、RGBA 透明图及 LoRA 加载,并接入 Skills 完成一句话出图,梳理老卡复用的关键步骤、常见坑点与适用边界。 阅读全文
posted @ 2026-10-20 17:31 GPUStack 阅读(36) 评论(0) 推荐(0)