摘要: GPUStack v0.4:文生图模型、语音模型、推理引擎版本管理、离线支持和部署本地模型 千呼万唤,GPUStack 迄今最受用户关注、超多新功能的版本重磅发布! 阅读全文
posted @ 2024-12-09 10:20 Seal软件 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 在昇腾Ascend 910B上运行Qwen2.5推理 使用 GPUStack 在昇腾 Ascend 910B 上运行 Qwen2.5 全系列的推理性能表现 阅读全文
posted @ 2024-11-04 13:11 Seal软件 阅读(701) 评论(0) 推荐(0) 编辑
摘要: GPUStack正式发布: 为大模型而生的开源GPU集群管理器 GPUStack 正式发布并开源,一个用于运行 LLM(大型语言模型)的开源 GPU 集群管理器。 阅读全文
posted @ 2024-07-26 16:15 Seal软件 阅读(618) 评论(2) 推荐(0) 编辑
摘要: 配置NVIDIA Container Runtime和容器运行GPUStack教程 配置 NVIDIA 容器运行时环境并使用容器方式运行 GPUStack 的操作教程 阅读全文
posted @ 2024-11-19 10:57 Seal软件 阅读(41) 评论(0) 推荐(0) 编辑
摘要: RAG三件套运行的新选择 - GPUStack 安装 GPUStack 和 Dify,并使用 Dify 来对接 GPUStack 部署的对话模型、Embedding 模型和 Reranker 模型。 阅读全文
posted @ 2024-11-12 10:02 Seal软件 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 制作并量化GGUF模型上传到HuggingFace和ModelScope 使用 llama.cpp 制作并量化 GGUF 模型,并将模型上传到 HuggingFace 和 ModelScope 模型仓库 阅读全文
posted @ 2024-11-07 11:51 Seal软件 阅读(75) 评论(0) 推荐(0) 编辑
摘要: GPUStack 0.2:开箱即用的分布式推理、CPU推理和调度策略 单机多卡分布式推理、跨主机分布式推理、CPU 推理、各种调度策略,你想要的全都有 阅读全文
posted @ 2024-09-19 10:11 Seal软件 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 建立成功平台工程的关键:自助式 IaC 了解团队部署自助式IaC的实践方法 阅读全文
posted @ 2024-04-29 09:45 Seal软件 阅读(65) 评论(0) 推荐(0) 编辑
摘要: 不谈虚的,平台即产品真的有那么好吗? 从开发者角度看PaaP,会关注哪些点? 阅读全文
posted @ 2024-04-26 09:32 Seal软件 阅读(48) 评论(0) 推荐(0) 编辑
摘要: API 开发的后盾:平台工程提供强力动态支持 平台工程通过改进开发者体验、整合、管理内部API等方式,促进API开发 阅读全文
posted @ 2024-04-24 10:19 Seal软件 阅读(31) 评论(0) 推荐(0) 编辑