高级词向量表示

本文是在上文自然语言处理——词的表示基础上,引入一个更先进的词向量模型GloVe。然后介绍如何内在和外在地评估词向量。

1 Global Vectors for Word Representation (GloVe)

1.1 和先前方法的比较

上文介绍了两类获取词向量的方法。第一类基于计数和矩阵分解,比如潜在语义分析(Latent Semantic Analysis,LSA)、语义存储模型(Hyperspace Analogue to Language,HAL)。这类方法有效地利用全局统计信息,善于捕捉词汇间的相似之处,但是对诸如词类比(比如:北京之于中国,相当于东京之于日本。其实就是对对联嘛:天对地,雨对风,大陆对长空。山花对海树,赤日对苍穹。现成的训练语料^_^)的任务就无能为力了,说明这是欠佳的向量空间结构。另一类基于浅窗口(窗口一般是5到10),通过在局部上下文窗口中做预测来学习词向量(比如skip-gram和CBOW)。这类方法处理词汇相似性之外,还能捕捉到复杂的语言模式,但并不能利用全局的共现统计信息。

相比之下,二者的优点GloVe兼而有之。由于包含一个基于词与词全局共现次数的最小二乘模型,因此更有效地利用了全局统计信息。该模型生成的词向量空间具有更丰富的子结构。它在词类比的任务中达到了最高的水准,在一些词相似性任务中也胜过了其他的模型。

简而言之,GloVe利用全局统计信息预测词$j$出现在词$i$的上下文环境中的概率。

1.2 共现矩阵

  • $X$:词与词的共现矩阵。
  • $X_{ij}$:词$j$出现在词$i$的上下文环境中的次数。
  • $X_i = \sum_k X_{ik}$:在词$i$的上下文环境中出现过的所有词的总数。
  • $P_{ij} = P(w_j|w_i) = \frac{X_{ij}}{X_i}$:词$j$出现在词$i$的上下文环境中的概率。

计算该矩阵需要对整个语料进行一次扫描。对于较大的语料集,这是耗时的,不过也是一劳永逸的。

1.3 最小二乘目标函数

回忆一下,在skip-gram模型中,我们使用softmax来计算词$j$出现在词$i$的上下文环境中的概率:

\begin{align*}
Q_{ij} = \frac{\exp(\vec{u}_j^T\vec{v}_i)}{\sum_{w=1}^{W} \exp(\vec{u}_w^T\vec{v}_i)}
\end{align*}

可以通过在线的,随机的方式进行训练(这里是随机梯度下降的意思吧。这种模型可用于在线学习,从而与时俱进,对于新语料、新词汇的加入很友好,这点要优于GloVe)。但是其中包含的全局交叉熵损失可通过如下方式计算:

\begin{align*}
J = -\sum_{i \in corpus} \sum_{j \in context(i)} \log(Q_{ij})
\end{align*}

由于同样的词$i$和词$j$可能会在语料中共现多次,首先将同样的$i$和$j$整合到一起:

\begin{align*}
J = -\sum_{i=1}^{W} \sum_{j=1}^{W} X_{ij} \log(Q_{ij})
\end{align*}

交叉熵损失有一个明显的缺陷:需要对$Q$的分布进行适当的规范化(也就是说,$Q$必须是个概率空间,$\sum Q = 1$),而这涉及到对所有的词汇求和,计算量巨大(其中,上一节的3.4 Negative Sampling和3.5 分层Softmax也给出了针对这一问题的解决方案)。为了避免这一问题,我们使用最小二乘目标函数,并抛弃掉需要规范化的因子$Q$:

\begin{align*}
\hat{j} = \sum_{i=1}^{W} \sum_{j=1}^{W}X_i(\hat{P}_{ij} - \hat{Q}_{ij})^2
\end{align*}

其中,$\hat{P}_{ij} = X_{ij}$和$\hat{Q}_{ij} = \exp(\vec{u}_j^T\vec{v}_i)$是未规范化分布(unnormalized distributions,可以参考What is an unnormalized measure in probability theory?以及Unnormalized probability: A different view of statistical mechanics)。这一公式有引入了新的问题:$X_{ij}$的值往往都很大,导致难以优化。一个有效的解决方案是取对数:

\begin{align*}
\hat{j} &= \sum_{i=1}^{W} \sum_{j=1}^{W}X_i(\log(\hat{P}_{ij}) - \log(\hat{Q}_{ij}))^2 \\
&= \sum_{i=1}^{W} \sum_{j=1}^{W} X_i(\vec{u}_j^T\vec{v}_i - \log(X_{ij}))^2
\end{align*}

此外,根据观察发现,我们并不能保证权重因子$X_i$是最优的。因此,我们使用一个更一般的权重函数,可以根据上下文词汇自由选择:

\begin{align*}
\hat{j} &= \sum_{i=1}^{W} \sum_{j=1}^{W} f(X_{ij})(\vec{u}_j^T\vec{v}_i - \log(X_{ij}))^2
\end{align*}

2 词向量评估

到目前为止,我们已经介绍了诸如Word2Vec、GloVe的方法,来训练和发现自然语言词语在语义空间潜在的词向量表示。接下来,我们介绍如何评估这些由不同模型所产生的词向量。

2.1 内在评估

内在评估就是通过明确的中间子任务(一个媒介任务,并不是最终的任务,比如词汇类比的表现)对各种技术产生的词向量进行评估。这些子任务一般都很简单,并且可以很快得到计算,因此帮助我们理解生成这些词向量的系统。内在评估方法一般都会返回一个数字,来说明词向量在这些子任务中的表现。

使用内在评估方法的动机是什么呢?比如我们的最终目标是创建一个以词向量为输入的问答系统。可以用如下方法训练一个机器学习系统:

  1. 以词作为输入
  2. 将词转换成词向量
  3. 使用词向量作为一个机器学习系统的输入
  4. 将输出的词向量映射为相应的自然语言词汇
  5. 将词作为答案输出

在构建对话系统的过程中,需要创建尽可能理想的词向量表示,因为这会用于下游的子系统(比如一个深度神经网络)。为达到这一目的,需要调整Word2Vec子系统中的许多超参数(比如词向量的维度)。最理想的方法是,每调整一个Word2Vec的超参数,就对整个系统重新训练一次。但这在工程实践中是不可能的,因为下游的机器学习系统(第3步)很可能是个深度神经网络,具有成千上万个参数,训练起来很费时间。在这种情形下,就需要一个内在的评估手段,来鉴别所生成词向量的优劣。

简而言之,内在评估有如下特点:

  • 在一个明确的中间任务上评估
  • 可以快速算得结果
  • 有助于理解子系统(也就是生成词向量的系统)
  • 和最终的任务正相关

2.2 外在的评估

  • 使用真实的任务进行评估
  • 计算时间较长
  • 不容易确定,到底是哪个子系统出了问题,或者交叉影响
  • 替换掉一个子系统,看一下性能是否提升。 

2.3 内在评估案例:词向量类比

在词向量类比中,首先给出如下不完整的类比形式:

a : b : : c : ?

然后内在评估系统求得使下面余弦相似度最大的词向量:

\begin{align*}
d = \mathop{\arg\max}\limits_{i} \frac{(x_b - x_a + x_c)^T x_i}{\left \| x_b - x_a + x_c \right \|}
\end{align*}

这一度量标准有一个直观上的解释。理想的情况下,我们希望$x_b - x_a = x_d - x_c$(比如,后 - 王 = 女演员 - 男演员)。

考虑如下形式的词类比:

城市1:所在州1::城市2:所在州2

表1 语义上的词向量类比

由于美国大量的城市/城镇/乡村存在同名的情况(其实中国也一样。比如吉林省市同名,广州市和贵阳市都有一个白云区,全国有无数个城关镇),所以有些答案可能不唯一。例如,全美至少有10个地方叫做Phoenix,因此Arizona不需要是唯一的正确答案。我们再来看另一个形式的类比:

首都1:国家1::首都2:国家2

在很多情况下,以上形式产生的都是该国家最近的首都。这也有一个问题,比如,在1997年以前,哈萨克斯坦的首都是阿拉木图(现在是阿斯塔纳)。因此,如果语料过时的话,我们会得到不同的答案。

上面两个例子,都是词向量在语义上的类比,当然也可以在语法上类比。例如,形容词与其最高级的类比:

表2 语法上的词向量类比

2.4 内在评估调整案例

可供内在评估技术调整的几个词向量模型超参数:

  • 词向量维度
  • 语料大小
  • 语料来源/种类
  • 上下文窗口大小
  • 上下文对称性

表3 不同模型在不同语料和超参数下的表现

从表3中,我们可以总结出3点主要的信息:

  • 效果严重依赖于所使用的模型。
  • 大语料集可以取得刚好的效果。
  • 词向量维度过高或过低,效果都不理想。维度过低捕捉的信息不全,从而欠拟合。维度过高,容易捕捉到语料中的噪声,从而过拟合。

实现细节:窗口选择8时,GloVe的效果最好。

以下三幅图分布是对训练次数、语料规模、词向量维度和窗口大小的调整:

图1 迭代次数对性能的影响

 

 

图2 语料规模如何影响词向量的性能

 

图3 词向量维度、窗口大小对GloVe性能的影响

2.5 内在评估案例:相似性评估

另一个内在评估方法是,人工标注两个词之间的相似度(在一定范围内,比如0-1),然后和两个词向量之间的余弦相似度进行比较。

表4 通过相似度评估不同模型的性能

3 外在任务的训练

下面讨论使用词向量处理真实的外在任务的一般方法。 

3.1 问题界定

大多数NLP任务都可以被定义为分类任务。例如,给一个句子,分析其情感是积极的还是消极的。类似的,对于命名实体识别(named-entity recognition,NER), 给出一个上下文环境和一个中心词,我们需要将中心词归为很多类别中的一个。例如,"Jim bought 300 shares of Acme Corp. in 2006",分类后的输出结果为:"[Jim]Person bought 300 shares of [Acme Corp.]Organization in [2006]Time."。对于这类问题,我们一般都是从如下形式的训练集开始:

\begin{align*}
\{ x^{(i)}, y^{(i)} \}_1^N
\end{align*}

其中,$x^{(i)}$是一个d维词向量。$ y^{(i)}$是代表某个类别的one-hot向量(比如情感信息,别的词语,命名实体,买入/卖出信号,等等)。

在一般的机器学习任务中,我们通常都是使用输入数据和目标标签,通过一些优化技术(比如梯度下降,L-BFGS,牛顿法,等等)来训练模型。但是在NLP任务中,我们引入一个新的思想:在训练外在任务时,再次训练词向量。下面将讨论为什么以及什么时候需要这样做。

3.2 再次训练词向量

正如上面所讨论的,外在任务所使用的词向量,是通过简单的内在任务进行优化的。在很多情况下,这种词向量应用于外在任务都能有良好的表现。词向量可以通过外在任务进一步训练,以便达到更好的效果。不过,再次训练也是有风险的,如果训练语料太少,返回会使情况更糟糕。

3.3 Softmax分类和正则化

让我们分析一下Softmax分类函数的形式:

\begin{align*}
p(y_j=1|x) = \frac{\exp(W_j \cdot x)}{\sum_{c=1}^{C}\exp(W_c \cdot x)}
\end{align*}

上式计算了词向量$x$是类别$j$的概率。使用交叉熵损失函数,对一个训练样本计算如下的损失:

\begin{align*}
-\sum_{j=1}^C y_j \log(p(y_j=1|x)) = -\sum_{j=1}^C y_j \log(\frac{\exp(W_j \cdot x)}{\sum_{c=1}^{C}\exp(W_c \cdot x)})
\end{align*}

事实上,上面的求和,$(C-1)$个都是0,只有$y_j$是1。假设$k$是正确类别的索引,上式可以简化为:

\begin{align*}
-\log(\frac{\exp(W_k \cdot x)}{\sum_{c=1}^{C}\exp(W_c \cdot x)})
\end{align*}

将上面的损失函数扩展到训练集的$N$个点:

\begin{align*}
-\sum_{i=1}^{N} \log(\frac{\exp(W_{k(i)} \cdot x^{(i)})}{\sum_{c=1}^{C}\exp(W_c \cdot x^{(i)})})
\end{align*}

其中,$k(i)$是一个函数,返回实例$x^{(i)}$所对应的正确类别的索引。

让我们来估计一下,如果同时训练模型权重$W$和词向量$x$,需要更新的参数个数。对于一个简单的线性决策边界,模型至少需要一个$d$维的输入词向量,并且产生$C$个类别的分布。因此,更新模型参数至少是更新$C \cdot d$个参数。如果同时更新词库$V$中的每一个词,那就需要更新$\left | V \right |$个词向量,这是$\left | V \right | \cdot d$个参数。所以总共需要更新的参数个数是$C \cdot d + \left | V \right | \cdot d$。这是数量是巨大的,很容易造成过拟合。解决方案也很简单,增加正则项:

\begin{align*}
-\sum_{i=1}^{N} \log(\frac{\exp(W_{k(i)} \cdot x^{(i)})}{\sum_{c=1}^{C}\exp(W_c \cdot x^{(i)})})
+ \lambda \sum_{k=1}^{C \cdot d + \left | V \right | \cdot d} \theta_k^2
\end{align*}

 

 

本文翻译自CS224n课程的官方笔记2,对应该课程的第3、4节。

posted on 2018-06-06 15:52  royhoo  阅读(2980)  评论(0编辑  收藏  举报

导航