2024年11月4日
在昇腾Ascend 910B上运行Qwen2.5推理
摘要： 在昇腾Ascend 910B上运行Qwen2.5推理 使用 GPUStack 在昇腾 Ascend 910B 上运行 Qwen2.5 全系列的推理性能表现 阅读全文
posted @ 2024-11-04 09:57 GPUStack 阅读(5830) 评论(0) 推荐(0)
2024年9月19日
GPUStack 0.2：开箱即用的分布式推理、CPU推理和调度策略
摘要： GPUStack 0.2：开箱即用的分布式推理、CPU推理和调度策略 单机多卡分布式推理、跨主机分布式推理、CPU 推理、各种调度策略，你想要的全都有 阅读全文
posted @ 2024-09-19 10:07 GPUStack 阅读(1707) 评论(0) 推荐(0)
2024年7月26日
GPUStack正式发布: 为大模型而生的开源GPU集群管理器
摘要： GPUStack正式发布: 为大模型而生的开源GPU集群管理器 GPUStack 正式发布并开源，一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理器。 阅读全文
posted @ 2024-07-26 16:15 GPUStack 阅读(9529) 评论(0) 推荐(0)