负采样公式简单讲解
可以把 Word2Vec 的负采样公式压缩成一个非常直观的结构:
\[\boxed{
L=
\log\sigma(v'_o{}^Tv_i)
+
\sum_{j=1}^{k}
\log\sigma(-v'_{n_j}{}^Tv_i)
}
\]
其中:
- (v_i):中心词的向量,例如
machine - (v'_o):真实上下文词的向量,例如
learning - (v'_{n_j}):第 (j) 个负样本的向量,例如
banana - (k):负样本数量,例如 5
- (\sigma):sigmoid 函数
1. 第一项:奖励“正确的词对”
\[\log\sigma(v'_o{}^Tv_i)
\]
例如:
machine → learning
先计算:
\[v'_{learning}\cdot v_{machine}
\]
希望这个点积越大越好。
因为:
\[点积越大
\Rightarrow
\sigma(点积)\rightarrow1
\Rightarrow
\log\sigma(点积)\rightarrow0
\]
所以训练会推动:
\[\boxed{v'_{learning}\cdot v_{machine}\uparrow}
\]
也就是把真实词对拉近。
2. 第二项:惩罚“错误的词对”
例如随机抽 3 个负样本:
machine → banana
machine → car
machine → telephone
对应:
\[\sum_{j=1}^{3}
\log\sigma(-v'_{n_j}{}^Tv_i)
\]
这里最关键的是那个 负号:
\[\boxed{-v'_{n_j}{}^Tv_i}
\]
我们希望原来的点积:
\[v'_{n_j}{}^Tv_i
\]
越小越好,最好是负数。
于是:
\[点积\downarrow
\Rightarrow
-点积\uparrow
\Rightarrow
\sigma(-点积)\rightarrow1
\]
因此模型会推动:
\[\boxed{v'_{banana}\cdot v_{machine}\downarrow}
\]
也就是把错误词对推远。
3. 为什么这个公式看起来是“加法”?
因为我们通常把它写成要最大化的目标函数:
\[\boxed{
J=
\underbrace{\log\sigma(v'_o{}^Tv_i)}_{\text{真实词对}}
+
\underbrace{
\sum_{j=1}^{k}
\log\sigma(-v'_{n_j}{}^Tv_i)
}_{\text{负样本}}
}
\]
目标:
\[\boxed{\max J}
\]
也就是:
真实词对:
点积 ↑ → sigmoid ↑ → log ↑
负词对:
点积 ↓ → -点积 ↑ → sigmoid ↑ → log ↑
如果用机器学习中更常见的 Loss 最小化写法,就在前面加负号:
\[\boxed{
L=-J
}
\]
即:
\[L=
-\log\sigma(v'_o{}^Tv_i)
-\sum_{j=1}^{k}\log\sigma(-v'_{n_j}{}^Tv_i)
\]
然后:
\[\boxed{\min L}
\]
4. 用一句话记住公式
负采样实际上就是:
\[\boxed{
\text{正样本:点积变大}
\quad+\quad
\text{负样本:点积变小}
}
\]
也可以形象地记成:
machine
/ \
↗ ↘
learning banana
↑ ↓
拉近 推远
这就是负采样最核心的数学思想:正样本拉近,负样本推远。
而你下一步学习反向传播时,最值得推导的就是这个公式为什么最终会得到:
\[\boxed{\frac{\partial L}{\partial z}=p-y}
\]
它会非常自然地把“负采样”连接到梯度下降和神经网络学习。

浙公网安备 33010602011771号