词向量

词向量

为了数字化的表示词汇表里的一个词，我们很自然的就能想到独热编码的方式。然而这样做不仅会导致维度过大，而且会造成不同词的词向量之间的关系无法通过向量表示出来。所以需要用一种维度更低的向量来表示词语：词向量。词向量是一个维度远远小于词汇表大小的向量，向量里的每个元素都是浮点数。

skip-gram

按照下图所示优化模型（训练权重矩阵W和各权重矩阵W‘ ），则得到的矩阵W的第i行，就是第i个单词的词向量。W的列数（N）就是词向量的维数。

这个方法的核心思想是通过一个单词预测它的上下文单词。

CBOW

按照下图的方式优化模型（计算时要考虑中心词取词表中的不同词的情况，也要考虑中心词在训练数据中的所有出现情况）。

训练得到两个权重矩阵：W，W'。W的第i行就是第i个词汇的词向量，W的列数（N）就是词向量的维数。

核心思想是根据一个单词的上下文来推测它本身的含义。

总之，寻找词向量就是要寻找这样一个矩阵：独热向量乘这个矩阵得到词向量。