摘要:
1. LLM 推理阶段概述: Prefill 阶段(预填充): 此阶段是 LLM 推理的初始阶段,负责处理输入的提示(prompt)。 其主要任务是将输入的文本转换为模型可以理解的内部表示,即 Key/Value (KV) 缓存。 Prefill 阶段的计算量通常较大,尤其是在处理长提示时。 Dec 阅读全文
posted @ 2025-03-12 16:32
MKY-门可意
阅读(2177)
评论(0)
推荐(0)