摘要: 1. LLM 推理阶段概述: Prefill 阶段(预填充): 此阶段是 LLM 推理的初始阶段,负责处理输入的提示(prompt)。 其主要任务是将输入的文本转换为模型可以理解的内部表示,即 Key/Value (KV) 缓存。 Prefill 阶段的计算量通常较大,尤其是在处理长提示时。 Dec 阅读全文
posted @ 2025-03-12 16:32 MKY-门可意 阅读(2177) 评论(0) 推荐(0)