目录
一、摘要
我们提出了两种新颖的模型架构，用于从超大规模信息集中计算词的连续向量表示。利用词汇相似性任务评估这些表示的质量，并将结果与之前基于不同类型神经网络的最佳性能技术进行比较。实验观察到显著提升的准确性，同时计算成本大幅降低——仅需不到一天即可从16亿词的材料集中学习高质量词向量。此外，这些向量在测试集上展现了当前最优的语法和语义词汇相似性度量性能。
术语说明
- 连续向量表示（continuous vector representations）：指将词语映射为固定维度的稠密向量，又称词嵌入（word embeddings）。
- 词汇相似性任务（word similarity task）：通过评估模型对词语间语义或语法关联度的预测能力来衡量词向量质量。
- 计算成本（computational cost）：强调模型训练所需的硬件资源与时间开销。
将单词视为原子单元——词汇之间缺乏相似性概念，仅通过词汇表中的索引进行表示。这种选择基于以下优势：简单性、鲁棒性，以及实践证明，在大规模数据上训练的简单模型能胜过小数据训练的复杂平台。例如统计语言建模中常用的N-gram模型，如今已能在几乎所有可用数据（数万亿词[3]）上进行训练。就是当前许多自然语言处理（NLP）系统和技术的处理方式
然而，简便技术在多项任务中已接近瓶颈。以自动语音识别为例，相关领域内的高质量数据量有限——性能通常受限于标注语音数据的规模（通常仅数百万词）。机器翻译领域，许多语言的现存语料库仅含数十亿词或更少。因此，单纯扩展基础技术无法带来显著提升时，必须转向更先进的方法。
随着近年来机器学习技术的进步，艰难模型在大规模数据集上的训练成为可能，其表现通常优于简单模型。最具突破性的理念之一是采用词分布式表示[10]。例如基于神经网络的语言模型，其性能显著超越N-gram模型[1, 27, 17]。
二、介绍
当前许多自然语言处理（NLP）系统和技术的处理方式是将单词视为原子单元——词汇之间缺乏相似性概念，仅通过词汇表中的索引进行表示。这种选择基于以下优势：简单性、鲁棒性，以及实践证明，在大规模数据上训练的简单模型能胜过小数据训练的繁琐系统。例如统计语言建模中常用的N-gram模型，如今已能在几乎所有可用资料（数万亿词[3]）上进行训练。
然而，简单技术在多项任务中已接近瓶颈。以自动语音识别为例，相关领域内的高质量数据量有限——性能通常受限于标注语音数据的规模（通常仅数百万词）。机器翻译领域，许多语言的现存语料库仅含数十亿词或更少。因此，单纯扩展基础技术无法带来显著提升时，必须转向更先进的办法。
随着近年来机器学习技术的进步，复杂模型在大规模数据集上的训练成为可能，其表现通常优于简单模型。最具突破性的理念之一是采用词分布式表示[10]。例如基于神经网络的语言模型，其性能显著超越N-gram模型[1, 27, 17]。
2.1 论文目标
本文的主要目标是介绍一种技术，能够从含有数十亿单词的庞大数据集中学习高质量的单词向量，同时支持数百万规模的词汇表。据目前所知，此前提出的架构均未能在超过数亿单词的语料上成功训练，且词向量维度通常局限于50-100。
向量质量评估
通过近期提出的向量表征质量评估方法，预期不仅能捕捉相似单词在向量空间中的邻近性，还能反映单词间的多重相似度关系。例如名词可能具有多种词尾变化，若在原始向量空间的子空间中搜索相似词，可发现具有相同词尾的单词。
超越语法规律的相似性
研究发现，词向量相似性不仅限于语法规则。通过方便的向量偏移手艺（如代数运算），示例显现：
得到的向量最接近单词"Queen"的表征。
模型架构优化
本文通过设计新型模型架构，保留单词间的线性规律性，以提升此类向量运算的精度。开发了一套全面的测试集，用于评估语法和语义规律性，并证明这些规律性可被高精度学习。此外，分析了训练时间和准确性与词向量维度及训练数据量之间的关系。
2.2 先前工作
将单词表示为连续向量的研究具有悠久历史[10, 26, 8]。文献[1]提出了一种广泛使用的神经网络语言模型（NNLM）架构，依据包含线性投影层和非线性隐藏层的前馈神经网络，联合学习词向量表示与统计语言模型。后续研究在此基础上进行了大量拓展。
文献[13, 14]提出另一种NNLM架构，其特点是先通过单隐藏层神经网络学习词向量，再将这些向量用于训练NNLM。这种办法无需构建完整NNLM即可完成词向量学习。当前工作直接扩展了该架构，仅聚焦于使用简单模型学习词向量的第一步。
后续研究表明，词向量能显著改进并简化众多自然语言处理任务[4, 5, 29]。词向量本身的估计采用了不同模型架构并在多样语料上训练[4, 29, 23, 19, 9]，部分成果已公开供后续研究和比对。然而，除使用对角权重矩阵的对数双线性模型变体外[23]，这些架构的训练计算成本远高于文献[13]提出的方法。
本篇内容介绍就先到这里，下篇内容会详细讲解模型架构
传送门：自然语言处理分享系列-词向量空间中的高效表示估计(二)
浙公网安备 33010602011771号