11 2025 档案

摘要：在部署大模型推理服务的时候，Ollama和vLLM是目前最常见的两个大模型部署工具，这里选择英伟达的RTX 3090比较Ollama和vLLM这两个工具在大语言模型推理场景下性能表现，使用Qwen3模型、控制同样的API推理参数，测试并发调用下的性能表现，来看看Ollama和vLLM分别适用于什么场景？ 阅读全文