神经网络之Softmax激活函数求导过程 - 指南

一、Softmax 函数的定义

给定一个输入向量：

$$\mathbf{z}=[z_1,z_2,...,z_n{]}^{\top }$$

Softmax 函数将其变换为一个输出向量（概率分布）：

$$\sigma (\mathbf{z}{)}_i=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}\text{for}i=1,...,n$$

这是一个向量函数，将实数向量映射为每个元素在 (0, 1) 之间，且总和为 1。

---

二、目标：求导

大家要推导的是：

$$\frac{\partial \sigma (\mathbf{z}{)}_i}{\partial z_k}$$

也就是说：
Softmax 输出第$i$个分量对输入向量第$k$个分量的偏导数。

---

三、对两种情况分别推导

✅ 情况 1：当$i=k$（对自己求导）

大家记 Softmax 输出为$s_i$：

$$s_i=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$$

利用商法则：

$$\frac{\partial s_i}{\partial z_i}=\frac{e^{z_i}\cdot {\sum }_j{e}^{z_j}-e^{z_i}\cdot e^{z_i}}{({\sum }_j{e}^{z_j}{)}^2}=\frac{e^{z_i}({\sum }_j{e}^{z_j}-e^{z_i})}{({\sum }_j{e}^{z_j}{)}^2}$$

整理一下：

$$\frac{\partial s_i}{\partial z_i}=s_i(1-s_i)$$

---

✅ 情况 2：当$i\ne k$（对别的分量求导）

$$\frac{\partial s_i}{\partial z_k}=\frac{0\cdot {\sum }_j{e}^{z_j}-e^{z_i}\cdot e^{z_k}}{({\sum }_j{e}^{z_j}{)}^2}=-\frac{e^{z_i}{e}^{z_k}}{({\sum }_j{e}^{z_j}{)}^2}=-s_i{s}_k$$

---

四、结果：Jacobian 矩阵形式

我们将所有偏导组织成一个 Jacobian 矩阵$J\in {\mathbb{R}}^{n\times n}$，有：

$$
J_{ik} = \frac{\partial s_i}{\partial z_k} =
\begin{cases}
s_i (1 - s_i), & \text{if } i = k \

• s_i s_k, & \text{if } i \ne k
  \end{cases}
  $$

也能够写成矩阵形式：

$$\frac{\partial \mathbf{s}}{\partial \mathbf{z}}=\text{diag}(\mathbf{s})-\mathbf{s}{\mathbf{s}}^{\top }$$

其中：

• $\text{diag}(\mathbf{s})$ 是以 $s_i$为对角元素的对角矩阵
• $\mathbf{s}{\mathbf{s}}^{\top }$是外积（得到一个 rank-1 的矩阵）

---

五、在神经网络中的用法

常见组合：Softmax + CrossEntropy（交叉熵损失）

在多分类神经网络中，常见组合是：

• 最后一层利用 Softmax 输出概率
• 损失函数运用交叉熵 Loss

这种组合在反向传播时有非常好的性质，导数公式变得非常简单：

$$\frac{\partial \text{Loss}}{\partial z_i}={\hat{y}}_i-y_i$$

其中：

• ${\hat{y}}_i$：Softmax 输出
• $y_i$：真实标签（one-hot）

这就是为什么框架（如 PyTorch）中提供 CrossEntropyLoss 是直接整合了 Softmax + Log + NLLLoss。

---

✅ 总结表：Softmax 求导

项目	内容
函数定义	$s_i=\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}$
对自己求导	$\frac{\partial s_i}{\partial z_i}=s_i(1-s_i)$
对他人求导	$\frac{\partial s_i}{\partial z_k}=-s_i{s}_k$
Jacobian 矩阵	$J=\text{diag}(s)-s{s}^{\top }$
应用	多分类输出层、交叉熵损失的梯度计算