gpustack

摘要： 基于开源大模型服务平台 GPUStack 与自定义安装的 vLLM 版本完成 GPT OSS 系列模型的生产部署推理。并对比 Ollama 与 vLLM 在生产并发场景下的吞吐性能差异。 阅读全文

摘要： GPUStack v0.7 提供了 70 余项功能优化与稳定性修复，涵盖推理加速与性能优化、开箱即用与用户交互、生产落地与多场景兼容性、运维运营能力等多个方面，进一步提升平台的可用性与工程稳定性，助力用户轻松构建高性能、可扩展的大模型服务体系！ 阅读全文

摘要： 在 45 分钟内搭建 GPUStack 模型服务平台并运行生产级的 Qwen3 模型服务。 阅读全文

摘要： 打造业界最好用的模型推理平台。 阅读全文

摘要： 开箱即用的模型推理体验。 阅读全文

摘要： 千呼万唤，GPUStack 迄今最受用户关注、超多新功能的版本重磅发布！ 阅读全文

摘要： 配置 NVIDIA 容器运行时环境并使用容器方式运行 GPUStack 的操作教程 阅读全文

摘要： 安装 GPUStack 和 Dify，并使用 Dify 来对接 GPUStack 部署的对话模型、Embedding 模型和 Reranker 模型。 阅读全文

摘要： 使用 llama.cpp 制作并量化 GGUF 模型，并将模型上传到 HuggingFace 和 ModelScope 模型仓库 阅读全文

摘要： 使用 GPUStack 在昇腾 Ascend 910B 上运行 Qwen2.5 全系列的推理性能表现 阅读全文