02 2025 档案

Ollama vs vLLM：并发性能深度评测
摘要：Ollama vs vLLM：并发性能深度评测 目录Ollama vs vLLM：并发性能深度评测引言一、背景介绍二、前期准备测试环境准备Locust 压测工具编写压测脚本三、性能测试vLLM单线程测试5个线程测试10个线程测试20个线程测试Ollama单线程测试5个线程测试10个线程测试20个线程 阅读全文
posted @ 2025-02-17 19:23 天氰色等烟雨 阅读(4606) 评论(3) 推荐(0)
vLLM - 高性能LLM推理引擎
摘要：目录前言大型语言模型(LLM)部署工具对比Ollama和vLLM的一些选型建议vLLM 简介vLLM 安装部署使用 pip 安装遇到的问题解决HuggingFace 获取模型huggingface-cli 下载模型安装依赖下载模型hf_transfer 加速设置镜像站方式一方式二下载使用示例vLLM 阅读全文
posted @ 2025-02-17 19:09 天氰色等烟雨 阅读(2656) 评论(2) 推荐(0)