GPUStack

[置顶] 昇腾多机推理极速上手：10倍简化的 DeepSeek R1 超大规模模型部署

摘要：

昇腾多机推理太复杂？易出错？试试 GPUStack 阅读全文

posted @ 2025-09-27 10:55 GPUStack 阅读(348) 评论(1) 推荐(0)

[置顶] 45分钟从零搭建私有MaaS平台和生产级的Qwen3模型服务

摘要：

在 45 分钟内搭建 GPUStack 模型服务平台并运行生产级的 Qwen3 模型服务。阅读全文

posted @ 2025-04-29 17:07 GPUStack 阅读(1185) 评论(0) 推荐(0)

[置顶] GPUStack v0.6超重磅更新：vLLM多机分布式、昇腾MindIE、模型兼容性检测、模型故障自动恢复，上百项增强打造最好用的模型推理平台

摘要：

打造业界最好用的模型推理平台。阅读全文

posted @ 2025-04-28 10:25 GPUStack 阅读(1419) 评论(0) 推荐(0)

[置顶] GPUStack正式发布: 为大模型而生的开源GPU集群管理器

摘要：

GPUStack 正式发布并开源，一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理器。阅读全文

posted @ 2024-07-26 16:15 GPUStack 阅读(6299) 评论(0) 推荐(0)

2025年10月21日

0.9B PaddleOCR-VL 登顶 SOTA！GPUStack 高效推理部署实战指南

摘要：

一键跑通 PaddleOCR-VL，极速体验行业顶尖的文档解析实力。阅读全文

posted @ 2025-10-21 09:27 GPUStack 阅读(638) 评论(0) 推荐(1)

2025年8月8日

忘掉Ollama! 将GPT OSS私有部署推理性能提升100倍的部署教程

摘要：

基于开源大模型服务平台 GPUStack 与自定义安装的 vLLM 版本完成 GPT OSS 系列模型的生产部署推理。并对比 Ollama 与 vLLM 在生产并发场景下的吞吐性能差异。阅读全文

posted @ 2025-08-08 17:48 GPUStack 阅读(1411) 评论(0) 推荐(0)

2025年7月28日

GPUStack v0.7重磅发布：macOS与Windows安装包、昇腾MindIE多机推理、模型使用计量与寒武纪MLU支持

摘要：

GPUStack v0.7 提供了 70 余项功能优化与稳定性修复，涵盖推理加速与性能优化、开箱即用与用户交互、生产落地与多场景兼容性、运维运营能力等多个方面，进一步提升平台的可用性与工程稳定性，助力用户轻松构建高性能、可扩展的大模型服务体系！阅读全文

posted @ 2025-07-28 14:02 GPUStack 阅读(673) 评论(0) 推荐(0)

2025年4月28日

GPUStack v0.5：模型Catalog、图生图功能上线，多维优化全面提升产品能力与使用体验

摘要：

开箱即用的模型推理体验。阅读全文

posted @ 2025-04-28 10:23 GPUStack 阅读(454) 评论(0) 推荐(0)

2024年12月9日

GPUStack v0.4：文生图模型、语音模型、推理引擎版本管理、离线支持和部署本地模型

摘要：

千呼万唤，GPUStack 迄今最受用户关注、超多新功能的版本重磅发布！阅读全文

posted @ 2024-12-09 10:20 GPUStack 阅读(3022) 评论(0) 推荐(0)

2024年11月19日

配置NVIDIA Container Runtime和容器运行GPUStack教程

摘要：

配置 NVIDIA 容器运行时环境并使用容器方式运行 GPUStack 的操作教程阅读全文

posted @ 2024-11-19 10:57 GPUStack 阅读(893) 评论(0) 推荐(1)

2024年11月12日

RAG三件套运行的新选择 - GPUStack

摘要：

安装 GPUStack 和 Dify，并使用 Dify 来对接 GPUStack 部署的对话模型、Embedding 模型和 Reranker 模型。阅读全文

posted @ 2024-11-12 10:02 GPUStack 阅读(6914) 评论(0) 推荐(0)

公告