机器学习-逻辑回归

逻辑回归公式推导

二分类问题

数据集 Z = {X,Y}, 其中结果集 \(y \in \{0,1\}\)
对于给定的x, 记y=1的概率为 \(p_x ( 0 \leqslant p_x \leqslant 1 )\), 那么

• \({ \displaystyle p(y|x) = \left\{ \begin{array}{rcl} p_x, & y=1 \\ 1-p_x, & y=0 \end{array}\right\} = p_{x}^{y}(1-p_{x})^{1-y}}\)

假设概率分布

• \({ \displaystyle p_x = \sigma (\omega x + b ) = \frac{1}{1+e^{-(\omega x+b)}}}\)

• \(\displaystyle \Rightarrow\) 对数几率 \({\displaystyle z = \ln \frac{p_x}{1-p_x}} = \omega x + b\)

此处假设所有 \(x\) 的 \(p_x\) 之间由相同的一组参数线性相关联，然后用sigmoid函数确保值域在[0,1]

理论上可以假设任意的映射形式 \(f: x \rightarrow p_x ( 0 \leqslant p_x \leqslant 1 )\)

线性关联的含义 ： x的每个分量对总体的贡献可以线性叠加

损失函数

• \({\displaystyle p_x = f(x) = \sigma(\omega x + b )}\)

• 分布函数 \(P(\omega,x,y)=\displaystyle{p_{x}^{y}(1-p_x)^{1-y}}\)

• 似然函数 \(P(\omega,X,Y)=\displaystyle\Pi_{i} p_{x_i}^{y_i}(1-p_{x_i})^{1-y_i}\)

• 损失函数 \(loss = - \log P(x) = - \sum_i { \left\{ y_i \log p_{x_i} + (1 - y_i ) \log ( 1 - p_{x_i} ) \right \} }\)

\(\min 损失函数 \Leftrightarrow \max 似然函数\)

如果更改类别标签 Y =

• \({ \displaystyle y \Rightarrow \frac{ 1 + y}{2}}, \{-1,1\} \Rightarrow \{0,1\}\)

• \({ \displaystyle p(y|x) = \left\{ \begin{array}{rcl} p_x, & y=1 \\ 1-p_x, & y=-1 \end{array}\right\} = p_{x}^{(y+1)/2}(1-p_{x})^{(1-y)/2}}\)

• \({ \displaystyle loss = - \log P(x) = - \sum_i { \left\{ \frac{1 + y_i}{2} \log p_{x_i} +\frac{1 - y_i}{2} \log ( 1 - p_{x_i} ) \right \} } }\)