softmax求导的过程

（图出自李宏毅老师的PPT）

对机器学习/深度学习有所了解的同学肯定不会对 softmax 陌生，它时而出现在多分类中用于得到每个类别的概率，时而出现在二分类中用于得到正样本的概率（当然，这个时候 softmax 以 sigmoid 的形式出现）。

1. 从 sigmoid 到 softmax

sigmoid 出现的频率在机器学习/深度学习中不可谓不高，从 logistic 回归到深度学习中的激活函数。先来看一下它的形式：

$$sigmoid(z) = \sigma(z) = \frac{1}{1 + e^{-z}}, \:\:\:\: z \in \mathbb{R}$$

我们把它的图像画一下：

import numpy as np
imort matplotlib.pyplot as plt

x = np.arange(-5, -5, 0.05)
z = x / (1 + np.exp(-x))

plt.plot(x, z)
plt.show()

显然，sigmoid 将实数域的值压缩到了 $(0, 1)$ 之间。那么在二分类中又是怎么用的呢？以 logistic 回归为例。在逻辑回归中通常假设样本的类别呈现为伯努利分布，即：

$$P(y=1) = p_1 \\ P(y=0) = p_0$$

且有 $p_1 + p_0 = 1$。用逻辑回归解决二分类问题时，我们用建模的时样本为正样本的概率（根据伯努利分布，为负样本的概率显而易见）：将逻辑回归得到的回归值输入到 sigmoid 中就得到了 $p_1$，即：

$$z = f(z) \\ p_1 = \frac{1}{1 + e^{-z}}$$

其中 $f$ 即是一个回归函数。那么 sigmoid 又与 softmax 有什么关系呢？先来看一下 softmax 的定义：

$$softmax(\mathbf{z}) = \frac{e^{\mathbf{z}}}{\sum_{i}^{n} e^{z_i}}, \:\:\:\: \mathbf{z} \in \mathbb{R}^n$$

显然，softmax 是一个向量的函数，正如本文开头的图示一样。softmax 将一个向量中的值进行了归一化，我们在多分类中常将其视作样本属于不同类别的概率值。我们将设有一个二分类模型，其输出是一个向量 $\mathbf{z} \in \mathbb{R}^2$，其中 $z_0, z_1$ 分别是样本属于类别 0, 1 的未归一化的值。如果我们用 $softmax$ 得到类别概率，则：

$$p_0 = \frac{e^{z_0}}{e^{z_0} + e^{z_1}} \\ p_1 = \frac{e^{z_1}}{e^{z_0} + e^{z_1}}$$

$p_0, p_1$ 即是样本分别属于 0, 1 的概率，我们对其进行以下变形：

$$\begin{aligned} p_1 &= \frac{e^{z_1}} {e^{z_0} + e^{z_1}} \\ &= \frac{e^{z_1}} {e^{z_0}( e^{z_0 - z_0} + e^{z_1 - z_0} )} \\ &= \frac{e^{z_1 - z_0}} {e^{z_0 - z_0} + e^{z_1 - z_0} } \\ &= \frac{e^\Delta} {e^{0} + e^{\Delta}} \\ &= \frac{e^\Delta} {1 + e^{\Delta}} \\ &= \frac{1} {1 + e^{-\Delta}} \end{aligned}$$

其中 $\Delta = z_1 - z_0$，同理可得 $p_0 = \frac{1} {e^{\Delta} + 1}$。回想到逻辑回归是对样本属于 1 概率进行建模，那么 $\Delta$ 就是逻辑回归进入 sigmoid 之前的预测值，这里我们来看看 $\Delta$ 到底是什么：

$$\frac{p_1} {p_0} = \frac{1} {e^\Delta} = e^{\Delta} \\ \log \frac{p_1} {p_0} = \Delta$$

由上可知，逻辑回归是对样本为 1 和 为 0 的概率的比值（几率）的对数（对数几率）进行回归。所以说逻辑回归也是一种回归，只不过回归的是样本的对数几率，得到了对数几率后再来得到样本属于类别 1 的概率。

再说回 sigmoid 和 softmax 的关系，其实从上面的的世子我们也看出来了其实 sigmoid 只是 softmax 的一种情况，sigmoid 隐式地包含了另一个元素地 softmax 值。在对分类任务进行建模时，我们通常将二分类任务中的一个类别进行建模，假设其服从伯努利分布；或者建模为二项分布，分别建模样本属于每个类别地概率（即 $\mathbf{z}$ 中的每一位表示样本为对应类别的对数几率，$softmax(\mathbf{z})$ 中的每一位表示样本为对应类别的概率）。

2. softmax 损失的求导

在多分类任务中，我们通常使用对数损失（在二分类中就是交叉熵损失）：

$$\mathcal{L} = -\frac{1} {N} \sum_{i=1}^N \sum_{j=1}^C y_{ij} \log \hat{y}_{ij}$$

其中，$N, C$ 分别为样本数和类别数，$y_{ij} \in \{0, 1\}$ 表示样本 $x_i$ 是否属于类别 $j$，$\hat{y}_{ij}$ 表示对应的预测概率。在多分类中，概率值通常通过 softmax 获得，即：

$$\hat{y}_{ij} = softmax(\mathbf{z}_i)_j = \frac{e^{z_{ij}}} {\sum_{k=1}^C e^{z_{ik}}}$$

这里我们只考虑一个样本的损失，即：

$$\mathcal{l} = -\sum_{j=1}^C y_{j} \log \hat{y}_{j} \\ \hat{y}_{j} = softmax(\mathbf{z})_j = \frac{e^{z_{j}}} {\sum_{k=1}^C e^{z_{k}}}$$

好了，开始重头戏，求多分类对数损失对 $z_k$ 的偏导：

$$\begin{aligned} \frac{\partial \mathcal{l}} {\partial z_k} &= - \frac{\partial} {\partial z_k} (\sum_{j=1}^C y_{j} \log \hat{y}_{j}) \\ &= - \sum_{j=1}^C y_{j} \frac{\partial \log \hat{y}_{j}} {\partial z_k} \\ &= - \sum_{j=1}^C y_{j} \frac{1} {\hat{y}_j} \frac{\partial \hat{y}_j} {\partial z_k} \end{aligned}$$

到这里其实以及很简单了，只需要算出 $\frac{\partial \hat{y}_j} {\partial z_k}$ 就行了，那就来吧：

$$\begin{aligned} \frac{\partial \hat{y}_j} {\partial z_k} &= \frac{\partial} {\partial z_k} (\frac{e^{z_j}} {\sum_{c=1}^C e^{z_c}}) \\ &= \frac{\frac{\partial e^{z_j}} {\partial z_k} \cdot \sum - e^{z_j} \cdot \frac{\partial \sum} {\partial z_k} } {(\sum)^2} \\ &= \frac{\frac{\partial e^{z_j}} {\partial z_k} \cdot \sum - e^{z_j} \cdot e^{z_k} } {(\sum)^2} \end{aligned}$$

其中 $\sum = \sum_{c=1}^C e^{z_c}$，其中 $\frac{\partial e^{z_j}} {\partial z_k}$ 需要分情况讨论一下：

$$\frac{\partial e^{z_j}} {\partial z_k} = \begin{cases} e^{z_j} & k = j \\ 0 & k \neq j \end{cases}$$

因此，

$$\frac{\partial \hat{y}_j} {\partial z_k} = \begin{cases} \frac{e^{z_j}\ \cdot \ \sum - (e^{z_j})^2 } {(\sum)^2} & k = j \\ \frac{0 \cdot \sum - e^{z_j} \cdot e^{z_k} } {(\sum)^2} & k \neq j \end{cases}$$

看起来有点复杂，我们来化简以下：

$$\frac{\partial \hat{y}_j} {\partial z_k} = \begin{cases} \hat{y}_j (1 - \hat{y}_j) & k = j \\ - \hat{y}_j \cdot \hat{y}_k & k \neq j \end{cases}$$

收工了吗？不！我们的目的是求 $\frac{\partial \mathcal{l}} {\partial z_k}$：

$$\begin{aligned} \frac{\partial \mathcal{l}} {\partial z_k} &= -[y_k \frac{1} {\hat{y}_k} \frac{\partial \hat{y}_k} {\partial z_k} + \sum_{j \neq k} y_j \frac{1} {\hat{y}_j} \frac{\partial \hat{y}_j} {\partial z_k} ] \\ &= -[y_k \frac{1} {\hat{y}_k} \cdot \hat{y}_k (1 - \hat{y}_k) + \sum_{j \neq k} y_j \frac{1} {\hat{y}_j} \cdot (- \hat{y}_j \cdot \hat{y}_k) ] \\ &= -[y_k \cdot (1 - \hat{y}_k) - \sum_{j \neq k} y_j \cdot \hat{y}_k ] \\ &= -[y_k - y_k \cdot \hat{y}_k - \sum_{j \neq k} y_j \cdot \hat{y}_k ] \\ &= -[y_k - \sum_{j} y_j \cdot \hat{y}_k ] \\ &= \sum_{j} y_j \cdot \hat{y}_k - y_k \\ &= \hat{y}_k \cdot \sum_{j} y_j - y_k \\ &= \hat{y}_k - y_k \end{aligned}$$

别看求起来有一点复杂，但是最后的结果还是很优雅的嘛：预测值 - 真实值。

这里有几个要注意的点：

• 上式第二部中依据 $j$ 是否等于 $k$ 将求和分成了两部分；
• 上式的倒数第二步中，利用了多分类的目标中只有一个为 1，即 $\sum_j y_j = 1$.

以上！