2025年5月16日
vllm 整体架构
摘要： sample : 将脑子中的想法转变成真的语言 #examples/offline_inference/simple_profiling.py #LLM 类用于加载和执行模型，SamplingParams 用于设置采样参数 from vllm import LLM, SamplingParams # 阅读全文
posted @ 2025-05-16 23:33 拾墨、 阅读(231) 评论(0) 推荐(0)