自然语言处理预训练——全局向量的词嵌入

带全局语料统计的跳元模型

传统的词嵌入模型（如Word2Vec、GloVe等）通常只考虑了局部上下文窗口内的单词共现信息，而没有充分利用全局语料库的统计特征。带全局预料统计的跳元模型尝试通过结合全局语料库的统计信息来提高词嵌入的表示能力，以更好地捕捉单词之间的语义和语法关系。

 

GloVe模型

 

从条件概率比值理解GloVe模型

 

总结

• 诸如词-词共现计数的全局语料库统计可以来解释跳元模型。

• 交叉熵损失可能不是衡量两种概率分布差异的好选择，特别是对于大型语料库。GloVe使用平方损失来拟合预先计算的全局语料库统计数据。

• 对于GloVe中的任意词，中心词向量和上下文词向量在数学上是等价的。

• GloVe可以从词-词共现概率的比率来解释。