GloVe词分布式表示

GloVe 模型介绍

下面的内容主要来自https://blog.csdn.net/u014665013/article/details/79642083

GloVe的推导

GloVe是基于共现信息来获得词的分布表示的，所以需要统计词的共现对信息。在设定的窗口内，统计中心词\(k\)与其上下文词\(i\)的共现次数\(X_{i,k}\)。那么有

\[P_{i,k} = \dfrac{X_{i,k}}{X_i} \]

其中

\[X_i = \sum_{j}X_{i,j} \]

作者发现对于任意三个词\(i,j,k\), $$
ratio_{i,j,k} = \dfrac{P_{i,k}}{P_{j,k}}

\[存在以下关系 | $ratio_{i,j,k}$ | 单词$j,k$相关 | 单词$j,k$不相关 | | ------ | ------ | ------ | |单词$i,k$相关| 趋近1 | 很大 | |单词$i,k$不相关|很小|趋近1| GloVe模型要做的就是建模上述关系，因此需要寻找一个函数$g$，使得 \]

\dfrac{P_{i,k}}{P_{j,k}} = g(v_i, v_j, v_k)

\[一个较为直观的做法就是 \]

g(v_i,v_j,v_k) = \exp(v_i^Tv_k - v_j^Tv_k) = \dfrac{\exp (v_i^{Tv_k)}{\exp(v_j}Tv_k)} = \dfrac{P_{i,k}}{P_{j,k}}

\[所以，对于任意的词$i,k$，仅需要使得$v_i^Tv_k = \log P_{i,k}$即可，便可得到目标函数 \]

J= \sum_{i,k}^N(v_iTv_k - \log P_{i,k})^2

\[等等，这个方法似乎存在问题，因为$\log P_{i,k}$ 不等于$\log P_{k,i}$但是$v_i^Tv_j = v_j^Tv_i$，这样需要进行补救一下 \]

\log P_{i,k} = \log(X_{i,k}) - \log(X_i) = v_i^Tv_k

\[此时引入两个偏置$b_i, b_j$， 使得 \]

\log(X_{i,k}) = v_i^Tv_k + b_i + b_k

\[$\log(X_i)$被偏置项吸纳。进而，我们的优化目标变为 \]

J = \sum_{i,k}f(X_{i,k})(v_i^Tv_j+b_i+b_k - \log(X_{i,k}))^2

\[其中$f(X_{i,k})$为一个常量，其计算如下 \]

f(x) = \begin{cases}
(x/xmax)^0.75 & x < xmax\
1 & x \ge xmax
\end{cases}

\[其作用是某些词频率过高，通常没有多大的意义，比如停用词，所以不能给过高的权重，此处的xmax是一个超参数。 ## 如何理解Global GloVe 即Global Vectors，如word2vec一样，都有滑动窗口，那么Global体现在哪里？ 从上面的推导过程中，我们不难发现，GloVe在参数的训练前，就已经统计好了一个共现矩阵，而这个共现矩阵是全局的，是整个语料的，然后再基于此进行参数学习，而word2vec在参数学习的时候，是局部的，每次只在一个窗口内的学习，只利用到了该窗口内的信息，比如cbow，每次都是基于单个窗口内的上下文词预测中心词。\]