LR采用的Sigmoid函数与最大熵（ME) 的关系

LR采用的Sigmoid函数与最大熵（ME) 的关系

从ME到LR

先直接给出最大熵模型的一般形式，后面再给出具体的推导过程。

\[\begin{align*} P_w(y|x) &= \dfrac{1}{Z_w(x)}\exp\left(\sum_{i=1}^{n}w_if_i(x,y)\right)\\ \mbox{where } Z_w(x) &= \sum_y\exp\left(\sum_{i=1}^nw_if_i(x,y)\right) \end{align*}\]

下面我们只考虑二分类问题，则有原式

\[\begin{align*} P_w(y|X) &= \dfrac{\exp(W_0X)}{\exp(W_0X) + \exp(W_1X)}\\ &= \dfrac{1}{1 + \exp((W1-W0)X)}\\ &= \dfrac{1}{1 + \exp(WX)} \end{align*}\]

这特么不就是用于二分类的Sigmoid函数么，也就是说LR采用Sigmoid函数除了因为Sigmoid函数具有一些漂亮的数学性质，比如\(f=sigmoid(x)\)，那么\(f‘(x) =(1-f(x))*f(x)\)，更重要的是这样找出来的模型是熵最大的。那么为什么要熵最大？最大熵原理是概率模型学习的一个准则，最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。

最大熵模型推导

最大熵模型是一个带约束的最优化问题

\[\begin{align*} E_{\tilde{P}}(f) &= E_{P}(f)\\ \mbox{where } E_{\tilde{P}}(f) &= \sum_{x,y}\tilde{P}(x,y)f(x,y)\\ \mbox{and } E_{P}(f) &= \sum_{x,y}\tilde{P}(x)P(y|x)f(x,y) \end{align*}\]

目标函数为

\[H(P) = -\sum_{x,y}\tilde{P}(x)P(y|x)\log P(y|x) \]

写成更加正式的形式如下

\[\begin{align*} \min_{P\in \mathcal{C}}& -H(P) = \sum_{x, y}\tilde{P}(x)P(y|x)\log P(y|x)\\ \mbox{s.t. }& E_{P}(f) - E_{\tilde{P}}(f) = 0 \\ &\sum_yP(y|x) = 1 \end{align*}\]

引入拉格朗日乘子有

\[\begin{align*} L(P,w) &=-H(P) + w_0\left(1 - \sum_yP(y|x)\right) + \sum_{i=1}^nw_i(E_{\tilde{p}}(f_i)-E_P(f_i))\\ &= \sum_{x,y}\tilde{P}(x)P(y|x)\log P(y|x) + w_0\left(1 - \sum_y P(y|x)\right)\\ &+ \sum_{i=1}^nw_i\left(\sum_{x,y}\tilde{P}(x,y)f_i(x,y) - \sum_{x,y}\tilde{P}(x)P(y|x)f_i(x,y)\right) \end{align*}\]

由原始问题的极小极大问题转为极大极小的对偶问题有

\[\begin{align*} \dfrac{\partial L(P,w)}{\partial P(y|x)} &= \sum_{x,y}\tilde{P}(x)(\log P(y|x) + 1) - \sum_yw_0 -\sum_{x,y}\left(\tilde{P}(x)\sum_{i=1}^nw_if_i(x,y)\right)\\ &= \sum_{x,y}\tilde{P}(x)\left(\log P(y|x)+1-w_0-\sum_{i=1}^nw_if_i(x,y)\right) \end{align*}\]

令其为0，解得

\[P(y|x) = \exp\left(\sum_{i=1}^nw_if_i(x,y) +w_0 - 1\right) = \dfrac{\exp(\sum_{i=1}^nw_if_i(x,y))}{\exp(1-w_0)} \]

由于$$\sum_yP(y|x)=1$$有

\[\exp(1-w_0) = \sum_y\exp\left(\sum_{i=1}^nw_if_i(x,y)\right) \]

即$$\begin{align}
P_w(y|x) &= \dfrac{1}{Z_w(x)}\exp\left(\sum_{i=1}^nw_if_i(x,y)\right)\
\mbox{where } Z_w(x) &= \sum_y\exp\left(\sum_{i=1}^nw_if_i(x,y)\right)
\end{align}$$

看到这个形式的模型是不是突然就有一种似曾相识的感觉？对的，除了LR、ME以外，CRF也是这种形式的。这种模型有一个统一的的名称，对数线性模型。