2026-11-17 softmax 为什么要减最大值

公式是 exp(x_i) / Σ exp(x_j),照着写三行就完事。但输入换成 1000 的时候,输出全是 nan。

一、先看三种输入

=== 1. 正常数值 [1, 2, 3] ===
  朴素版 : [0.09003057 0.24472847 0.66524096]
  稳定版 : [0.09003057 0.24472847 0.66524096]

=== 2. 大数值 [1000, 1001, 1002] ===
  朴素版 : [nan nan nan]
  稳定版 : [0.09003057 0.24472847 0.66524096]

=== 3. 负大数 [-1000, -1001, -1002] ===
  朴素版 : [nan nan nan]
  稳定版 : [0.66524096 0.24472847 0.09003057]

正常数值下两个版本一模一样——这也是为什么很多示例代码看不出问题。

输入一大,朴素版直接 nan。不是精度不够,是根本算不出来。

有意思的是第 2 组的稳定版输出和第 1 组完全一致。因为两组数据减去各自的最大值之后都变成 [-2, -1, 0]——同一个起点,结果自然一样。

二、exp 能算到多大

exp(  709.0) = 8.218407e+307
exp( 709.78) = 1.792823e+308
exp( 709.79) = inf

float64 最大约 1.7977e308。exp(709.78) 刚好在边缘,709.79 就溢出了。

所以 x_i = 1000 时,exp(1000) 直接是 inf。三项全是 inf,加起来还是 inf,最后 inf / inf——在 IEEE 754 里这就是 nan。

上溢的后果不是"结果偏差",是整条式子失效。

三、下溢是另一头

x = -1000 时,exp(-1000) 下溢成 0.0。三项全是 0,加起来是 0,最后 0 / 0——又是 nan。

所以这个公式有两个悬崖:一头太大变 inf,一头太小变 0。中间那段窄路才是能用的。

四、减最大值为什么不影响结果

数学上,softmax 对「整体平移」不敏感:

softmax(x)_i = exp(x_i - c) / Σ exp(x_j - c)

分子分母都乘了 exp(-c),约掉就没了。所以随便减一个常数,结果都不变。

实测:

原输入       [1. 2. 3.]  ->  [0.09003057 0.24472847 0.66524096]
全体减    0.0  ->  同上   一致:True
全体减   10.0  ->  同上   一致:True
全体减  100.0  ->  同上   一致:True
全体减 1000.0  ->  同上   一致:True

减 1000 也一样。这就给了我们一个免费的调整空间:既然结果不变,那就挑一个能让 exp 不炸的起点。

五、为什么减「最大值」恰好安全

这是我觉得书上一带而过、但其实最关键的一点。

减掉最大值之后:

  • 最大的那一项变成 exp(0) = 1
  • 其余都是 exp(负数),落在 (0, 1) 之间

于是:

不会上溢:所有 exp 的输入都 ≤ 0,结果都 ≤ 1,加起来最多是 n。

不会下溢成 0/0:至少有一项是 exp(0) = 1,所以分母恒 ≥ 1。

一头一尾两个悬崖,被这一个减法同时堵住了。

而如果减的是别的数——比如减最小值、或者减 1000——能不能安全完全取决于数据长什么样。只有减最大值能保证「最大项 = 1」这个性质。

六、结论

softmax 的公式没错,exp 的取值有限。两者一撞,大数就炸。

减最大值不是"优化技巧",也不是"数值稳定性小贴士"——它是让这个公式在浮点数上能算出来的必要条件。

顺带一个可以带走的判断方法:以后看到「先减均值/减最大值/加一个 epsilon」这类操作,先问一句「这个变换在数学上不改变结果吗」。如果不改变,那它大概率就是在处理浮点数的边界。

附:代码

import numpy as np

def softmax_naive(x):
    e = np.exp(x)
    return e / e.sum()

def softmax_stable(x):
    x = x - np.max(x)          # 唯一的区别
    e = np.exp(x)
    return e / e.sum()

print(softmax_naive(np.array([1.0, 2.0, 3.0])))      # 正常
print(softmax_naive(np.array([1000.0, 1001.0, 1002.0])))   # [nan nan nan]
print(softmax_stable(np.array([1000.0, 1001.0, 1002.0])))  # [0.09 0.24 0.67]
posted @ 2026-11-17 08:13  呱哒  阅读(12)  评论(1)    收藏  举报