GPUStack

摘要：

安装 GPUStack 和 Dify，并使用 Dify 来对接 GPUStack 部署的对话模型、Embedding 模型和 Reranker 模型。阅读全文

posted @ 2024-11-12 10:02 GPUStack 阅读(7189) 评论(0) 推荐(0)

摘要：

使用 llama.cpp 制作并量化 GGUF 模型，并将模型上传到 HuggingFace 和 ModelScope 模型仓库阅读全文

posted @ 2024-11-07 11:51 GPUStack 阅读(1052) 评论(0) 推荐(0)

摘要：

使用 GPUStack 在昇腾 Ascend 910B 上运行 Qwen2.5 全系列的推理性能表现阅读全文

posted @ 2024-11-04 09:57 GPUStack 阅读(5194) 评论(0) 推荐(0)

摘要：

单机多卡分布式推理、跨主机分布式推理、CPU 推理、各种调度策略，你想要的全都有阅读全文

posted @ 2024-09-19 10:07 GPUStack 阅读(1389) 评论(0) 推荐(0)

摘要：

GPUStack 正式发布并开源，一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理器。阅读全文

posted @ 2024-07-26 16:15 GPUStack 阅读(6871) 评论(0) 推荐(0)