负采样公式简单讲解

可以把 Word2Vec 的负采样公式压缩成一个非常直观的结构:

\[\boxed{ L= \log\sigma(v'_o{}^Tv_i) + \sum_{j=1}^{k} \log\sigma(-v'_{n_j}{}^Tv_i) } \]

其中:

  • (v_i):中心词的向量,例如 machine
  • (v'_o):真实上下文词的向量,例如 learning
  • (v'_{n_j}):第 (j) 个负样本的向量,例如 banana
  • (k):负样本数量,例如 5
  • (\sigma):sigmoid 函数

1. 第一项:奖励“正确的词对”

\[\log\sigma(v'_o{}^Tv_i) \]

例如:

machine → learning

先计算:

\[v'_{learning}\cdot v_{machine} \]

希望这个点积越大越好。

因为:

\[点积越大 \Rightarrow \sigma(点积)\rightarrow1 \Rightarrow \log\sigma(点积)\rightarrow0 \]

所以训练会推动:

\[\boxed{v'_{learning}\cdot v_{machine}\uparrow} \]

也就是把真实词对拉近。


2. 第二项:惩罚“错误的词对”

例如随机抽 3 个负样本:

machine → banana
machine → car
machine → telephone

对应:

\[\sum_{j=1}^{3} \log\sigma(-v'_{n_j}{}^Tv_i) \]

这里最关键的是那个 负号:

\[\boxed{-v'_{n_j}{}^Tv_i} \]

我们希望原来的点积:

\[v'_{n_j}{}^Tv_i \]

越小越好,最好是负数。

于是:

\[点积\downarrow \Rightarrow -点积\uparrow \Rightarrow \sigma(-点积)\rightarrow1 \]

因此模型会推动:

\[\boxed{v'_{banana}\cdot v_{machine}\downarrow} \]

也就是把错误词对推远。


3. 为什么这个公式看起来是“加法”?

因为我们通常把它写成要最大化的目标函数:

\[\boxed{ J= \underbrace{\log\sigma(v'_o{}^Tv_i)}_{\text{真实词对}} + \underbrace{ \sum_{j=1}^{k} \log\sigma(-v'_{n_j}{}^Tv_i) }_{\text{负样本}} } \]

目标:

\[\boxed{\max J} \]

也就是:

真实词对:
点积 ↑ → sigmoid ↑ → log ↑

负词对:
点积 ↓ → -点积 ↑ → sigmoid ↑ → log ↑

如果用机器学习中更常见的 Loss 最小化写法,就在前面加负号:

\[\boxed{ L=-J } \]

即:

\[L= -\log\sigma(v'_o{}^Tv_i) -\sum_{j=1}^{k}\log\sigma(-v'_{n_j}{}^Tv_i) \]

然后:

\[\boxed{\min L} \]


4. 用一句话记住公式

负采样实际上就是:

\[\boxed{ \text{正样本:点积变大} \quad+\quad \text{负样本:点积变小} } \]

也可以形象地记成:

             machine
              /   \
             ↗     ↘
        learning    banana
          ↑           ↓
       拉近          推远

这就是负采样最核心的数学思想:正样本拉近,负样本推远。

而你下一步学习反向传播时,最值得推导的就是这个公式为什么最终会得到:

\[\boxed{\frac{\partial L}{\partial z}=p-y} \]

它会非常自然地把“负采样”连接到梯度下降和神经网络学习。

posted @ 2026-08-29 16:12  立体风  阅读(18)  评论(0)    收藏  举报