2026年2月9日
vLLM 学习（二）：vLLM 启动流程一
摘要： vLLM 启动流程 以下面离线推理的简单例子作为代表，简要梳理一下 vLLM 的启动流程： from vllm import LLM, SamplingParams def main(): # Define a list of input prompts prompts = [ "你好" ] # D 阅读全文
posted @ 2026-02-09 17:33 Groot_Liu 阅读(49) 评论(0) 推荐(0)