又有知识…增加了

摘要： 舍入误差只是影响模型输出的很小的一部分，更常见的大部分变化来自于概率、随机性和上下文的相互作用。 在生成回复的最后阶段，模型不会选择一个“预先确定”的词，而是会计算词汇表的概率分布： p(w_i \mid \text{context}) = \frac{e^{z_i / T}}{\sum_j e^{ 阅读全文

摘要： “舍入误差”（rounding error），最简单的理解是，当连续的数学量以离散的数值格式表示时，就会发生舍入误差，比如计算机中的浮点数。并非所有实数都能精确存储，因此机器会保留一个近似值。 形式上，如果真值为 x，存储值为 \hat{x}，则 \hat{x} = x + \epsilon 其中 阅读全文