2025年10月20日
vLLm&Ollama推理部署以及压测对比
摘要： 前言 这篇主要讨论不同推理软件平台的安装部署，之间的差异，以及压测指标的对比。 环境 使用的是linux环境，Ubuntu系统 软件安装部署 1、vLLm conda创建虚拟环境，这里需要用到conda，具体的安装方法可以看之前的livaTalking部署博客里面有，liveTalking部署 co 阅读全文
posted @ 2025-10-20 10:33 颜色不一样的烟火 阅读(18) 评论(0) 推荐(0)