MetaZ

摘要： Direct && Noise Channel 进一步把语言模型推理的模式分为了： 直推模式（Direct）； 噪声通道模式（Noise channel）。 直观来看： Direct 模式 Noise Channel 模式 也就是说把数据和标签调换了位置。 公式推导 Direct： $$y_{tes 阅读全文

摘要： 根据 softmax 最基本的定义，计算公式如下所示： $$S_i=\frac{e^{x_i}}{\sum_j e^{x_j}}$$ 原理也很简单，将原向量变为分布的形式（和为1）。 看似很美好，但是有致命缺点，当 $x_i$ 的值比较大的情况下，由于 $e^x$ 呈指数增长，因可能会发生溢出。 解 阅读全文