2026-11-17 softmax 为什么要减最大值
公式是
exp(x_i) / Σ exp(x_j),照着写三行就完事。但输入换成 1000 的时候,输出全是nan。
一、先看三种输入
=== 1. 正常数值 [1, 2, 3] ===
朴素版 : [0.09003057 0.24472847 0.66524096]
稳定版 : [0.09003057 0.24472847 0.66524096]
=== 2. 大数值 [1000, 1001, 1002] ===
朴素版 : [nan nan nan]
稳定版 : [0.09003057 0.24472847 0.66524096]
=== 3. 负大数 [-1000, -1001, -1002] ===
朴素版 : [nan nan nan]
稳定版 : [0.66524096 0.24472847 0.09003057]
正常数值下两个版本一模一样——这也是为什么很多示例代码看不出问题。
输入一大,朴素版直接 nan。不是精度不够,是根本算不出来。
有意思的是第 2 组的稳定版输出和第 1 组完全一致。因为两组数据减去各自的最大值之后都变成 [-2, -1, 0]——同一个起点,结果自然一样。
二、exp 能算到多大
exp( 709.0) = 8.218407e+307
exp( 709.78) = 1.792823e+308
exp( 709.79) = inf
float64 最大约 1.7977e308。exp(709.78) 刚好在边缘,709.79 就溢出了。
所以 x_i = 1000 时,exp(1000) 直接是 inf。三项全是 inf,加起来还是 inf,最后 inf / inf——在 IEEE 754 里这就是 nan。
上溢的后果不是"结果偏差",是整条式子失效。
三、下溢是另一头
x = -1000 时,exp(-1000) 下溢成 0.0。三项全是 0,加起来是 0,最后 0 / 0——又是 nan。
所以这个公式有两个悬崖:一头太大变 inf,一头太小变 0。中间那段窄路才是能用的。
四、减最大值为什么不影响结果
数学上,softmax 对「整体平移」不敏感:
softmax(x)_i = exp(x_i - c) / Σ exp(x_j - c)
分子分母都乘了 exp(-c),约掉就没了。所以随便减一个常数,结果都不变。
实测:
原输入 [1. 2. 3.] -> [0.09003057 0.24472847 0.66524096]
全体减 0.0 -> 同上 一致:True
全体减 10.0 -> 同上 一致:True
全体减 100.0 -> 同上 一致:True
全体减 1000.0 -> 同上 一致:True
减 1000 也一样。这就给了我们一个免费的调整空间:既然结果不变,那就挑一个能让 exp 不炸的起点。
五、为什么减「最大值」恰好安全
这是我觉得书上一带而过、但其实最关键的一点。
减掉最大值之后:
- 最大的那一项变成
exp(0) = 1 - 其余都是
exp(负数),落在(0, 1)之间
于是:
不会上溢:所有 exp 的输入都 ≤ 0,结果都 ≤ 1,加起来最多是 n。
不会下溢成 0/0:至少有一项是 exp(0) = 1,所以分母恒 ≥ 1。
一头一尾两个悬崖,被这一个减法同时堵住了。
而如果减的是别的数——比如减最小值、或者减 1000——能不能安全完全取决于数据长什么样。只有减最大值能保证「最大项 = 1」这个性质。
六、结论
softmax 的公式没错,exp 的取值有限。两者一撞,大数就炸。
减最大值不是"优化技巧",也不是"数值稳定性小贴士"——它是让这个公式在浮点数上能算出来的必要条件。
顺带一个可以带走的判断方法:以后看到「先减均值/减最大值/加一个 epsilon」这类操作,先问一句「这个变换在数学上不改变结果吗」。如果不改变,那它大概率就是在处理浮点数的边界。
附:代码
import numpy as np
def softmax_naive(x):
e = np.exp(x)
return e / e.sum()
def softmax_stable(x):
x = x - np.max(x) # 唯一的区别
e = np.exp(x)
return e / e.sum()
print(softmax_naive(np.array([1.0, 2.0, 3.0]))) # 正常
print(softmax_naive(np.array([1000.0, 1001.0, 1002.0]))) # [nan nan nan]
print(softmax_stable(np.array([1000.0, 1001.0, 1002.0]))) # [0.09 0.24 0.67]
浙公网安备 33010602011771号