关于逻辑回归的见解 - 详解

逻辑回归通过将线性回归的输出映射到$\left[0,1\right]$区间，来表示某个类别的概率。也就是其本质是先通过线性回归的预测值$\mathbf{y}$输入到映射函数，既将线性回归的输出通过映射函数映射到$\left[0,1\right]$sigmoid函数,其图像：就是.常用的映射函数

关于sigmoid函数其形式如下：
$$f(x)=\frac{1}{1+e^{-x}}$$

sigmoid函数的导数特性：
f ′ ( x ) = − 1 ( 1 + e x ) 2 ⋅ − e x = e x ( 1 + e x ) 2 = 1 1 + e x ⋅ e x 1 + e x = 1 1 + e x ⋅ 1 + e x − 1 1 + e x = 1 1 + e x ⋅ ( 1 − 1 1 + e x ) = f ( x ) ( 1 − f ( x ) )

f′(x)=−1(1+ex)2⋅−ex=ex(1+ex)2=11+ex⋅ex1+ex=11+ex⋅1+ex−11+ex=11+ex⋅(1−11+ex)=f(x)(1−f(x))$$\begin{array}{rl}{f}^{\prime }(x)& =-\frac{1}{{\left(1+e^x\right)}^2}\cdot -e^x\\ & =\frac{e^x}{{\left(1+e^x\right)}^2}\\ & =\frac{1}{1+e^x}\cdot \frac{e^x}{1+e^x}\\ & =\frac{1}{1+e^x}\cdot \frac{1+e^x-1}{1+e^x}\\ & =\frac{1}{1+e^x}\cdot \left(1-\frac{1}{1+e^x}\right)\\ & =f(\mathbf{x})\left(1-f(\mathbf{x})\right)\end{array}$$

f′(x)​=−(1+ex)21​⋅−ex=(1+ex)2ex​=1+ex1​⋅1+exex​=1+ex1​⋅1+ex1+ex−1​=1+ex1​⋅(1−1+ex1​)=f(x)(1−f(x))​

逻辑回归结果可表示为：

$$P(y=1\mid \mathbf{x})=\frac{1}{1+e^{-\left({\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n\right)}}=\frac{1}{1+e^{-\left({\beta }^{T}x\right)}}$$

其中− ( β 0 + β 1 x 1 + β 2 x 2 + ⋯ + β n x n ) -\left(\beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n \right)−(β0​+β1​x1​+β2​x2​+⋯+βn​x