2024年11月21日
大模型推理指南：使用 vLLM 实现高效推理
摘要： 本文主要分享如何使用 vLLM 实现大模型推理服务。 1. 概述 大模型推理有多种方式比如 最基础的 HuggingFace Transformers TGI vLLM Triton + TensorRT-LLM ... 其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下 阅读全文
posted @ 2024-11-21 14:29 探索云原生 阅读(2201) 评论(0) 推荐(0)