一个例子讲懂大模型topk topp temperature参数

 

首先用top-k筛选出概率最高的k个单词，然后用top-p筛选出累计概率超过p的最小单词集合，最后用温度采样调节概率分布，并从中随机选择一个单词。本节还是用前面的例子来说明。首先设置top-k=3，表示只保留概率最高的3个单词，这样就会得到女孩、鞋子、大象这3个单词，概率分别是66.4%、19.9%、10.5%；其次可以使用top-p的方法，设置p = 80%，表示只保留累计概率超过80%的最小单词集合，这样就会得到女孩、鞋子这两个单词；然后使用温度采样方法，设置温度T = 0.7，表示缩放logits并重新计算概率分布，这样就会得到女孩、鞋子这两个单词，概率分别是66%、34.0%；最后可以从上述分布中进行随机采样，选择一个单词作为最终的文本生成结果。