2023年9月21日
KVCache原理简述
摘要： 在GPT的推理过程中，它根据完整的提问和回答的已生成部分，来生测下一个词（的概率）。 例如，我们的提问是【天王盖地虎，】，回答是【宝塔镇河妖。】。 那么第一次，GPT根据【天王盖地虎，】生成【宝】，之后根据【天王盖地虎，宝】生成【塔】，以此类推，直到碰上终止符。 这里面提问【天王盖地虎，】的QKV实 阅读全文
posted @ 2023-09-21 12:41 绝不原创的飞龙 阅读(452) 评论(0) 推荐(0)