word2vec 简介

核心概念：Word2Vec 词向量模型

Word2Vec 是自然语言处理（NLP）领域的一项核心技术，用于获取词语的向量表示。这些向量基于“分布语义学”原理，通过词语周围的上下文来捕捉其语义信息。模型训练完成后，可用于寻找语义相似的词语，其生成的词嵌入（Embeddings）还可作为搜索引擎、文本分类等系统的输入。

2013年，由 Tomáš Mikolov、Ilya Sutskever 等人在 Google 开发的 Word2Vec 正式发表。其卓越的计算效率使得从海量文本语料库中学习高质量词向量成为可能，并促成了它在 NLP 领域的广泛普及。

技术原理与模型架构

Word2Vec 是一组用于生成词向量的浅层两层神经网络模型。它将语料库中的词汇映射到一个通常为数百维的向量空间中。该模型包含两种主要架构：

1. 连续词袋模型（CBOW）
CBOW 可以看作是一个“填空题”任务：通过上下文词汇来预测中心词。它假设上下文词汇的顺序不影响预测（词袋假设）。由于将上下文词汇的向量进行了聚合，CBOW 的训练速度更快。

2. 连续跳字模型（Skip-gram）
Skip-gram 则反其道而行之：使用当前的中心词来预测其周围的上下文词汇。该架构赋予距离较近的上下文词汇更高的权重。尽管计算开销更大，但它在捕捉罕见词（低频词）方面表现更佳。

数学细节与优化策略（重点与难点解析）

Word2Vec 的核心数学思想是最大化条件概率。然而，在实际训练中，如果直接计算全局 Softmax，由于词汇表庞大（数十万乃至百万级），计算量将呈爆炸式增长。因此，Word2Vec 引入了两大高效近似优化策略：

1. 层次 Softmax（Hierarchical Softmax）
利用哈夫曼树（Huffman Tree）将多分类问题转化为一系列二分类问题，从而大幅降低计算复杂度。它在处理低频词时效果更好，但随着训练轮数的增加，其收益会逐渐递减。

2. 负采样（Negative Sampling）
通过最小化采样的“负例”（非上下文词汇）的对数似然来逼近最大化问题。这种方法在处理高频词和低维向量时表现更佳，是工业界最常用的训练策略。

点评：这两大优化策略是 Word2Vec 能够处理工业级海量数据的真正“幕后功臣”。它们不仅解决了计算瓶颈，还深刻影响了后续 Embedding 技术的设计哲学。

关键超参数与训练策略

Word2Vec 的训练结果对参数设置高度敏感：

• 子采样（Sub-sampling）：高频词（如“the”、“is”）往往提供的信息量极少。通过子采样降低其出现频率，可以加速训练并提升低频词的表示质量。
• 维度（Dimensionality）：向量维度通常在 100 到 1000 之间。维度越高，词向量质量越好，但边际收益会递减，且计算成本增加。
• 上下文窗口（Context Window）：决定了模型考察前后多少个词。Skip-gram 推荐窗口大小为 10，CBOW 推荐为 5。

语义与句法关系的保留

Word2Vec 最令人惊叹的特性是其向量空间具有线性结构。例如，著名的类比推理：
vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen")
这种代数运算不仅适用于语义关系（如国家-首都），也适用于句法关系（如动词时态）。这一特性甚至被成功应用于跨语言的机器翻译对齐。

难点点评：尽管这种“方向代表意义”的现象非常直观，但学术界对其背后的严格数学解释仍存在争议。部分学者认为，Word2Vec 的优越性并非完全归功于神经网络架构本身，而是其特定的超参数选择和负采样目标函数的巧妙设计。

模型评估与局限性

• 评估基准：Mikolov 等人开发了一个包含近 2 万个语义和句法关系的基准测试集，用于量化评估词向量模型的准确性。
• 数据规模依赖：Word2Vec 具有陡峭的学习曲线。在中等规模（>1000万词）或大规模语料库上，它远超传统的 LSA（潜在语义分析）；但在小语料库上，LSA 的表现反而更好。
• 静态表示的局限：Word2Vec 生成的是静态词向量（一个词只有一个固定向量），无法解决“一词多义”问题。这直接催生了后来的 ELMo 和 BERT 等动态上下文嵌入模型。

技术扩展应用

Word2Vec 的思想被广泛迁移到了其他领域：

• Doc2Vec：将词向量扩展为句子、段落或整篇文档的向量表示。
• Top2Vec：结合文档和词向量，自动发现并估计主题的分布式表示。
• BioVectors (BioVec)：将词向量应用于 DNA、RNA 和蛋白质序列，用于生物信息学中的基因组学和蛋白质组学分析。
• 医学文本处理：结合语义字典映射，解决放射学报告中缩写、同义词和语法不规范带来的信息提取难题。