逻辑斯蒂回归模型

1、逻辑斯蒂分布（Logistic Distribution）

    设 X 是连续随机变量，X 服从逻辑斯蒂分布是指 X 具有下列分布函数和密度函数：

    式中，u 是位置参数， y>0 是形状参数（ 数学公式编辑不方便，希腊字母不好打呀……o(╯□╰)o ）。

    参数 y 值越大函数图象越缓。

    函数图象如下。

 

    事实上，F(x) 是就是神经网络中激励函数的一种 sigmoid 函数的一个泛化。

    这类函数被称为 squash function，其值在 u 附近变化较为剧烈，值域为 [0,1]。

 

2、二项逻辑斯蒂回归模型

    二项逻辑斯蒂模型是一种分类模型，由条件概率分布 P(Y|X) 表示，形式化为参数化的逻辑斯蒂分布。

    二项逻辑斯蒂回归模型是如下的条件概率分布：

   这里， 。 ω 和 b 均为参数。

   将 x 添加一个1，扩充到 n+1 维， 将 ω 和 b 合并成为一个参数。

   逻辑斯蒂回归模型就变成

   

   对于给定实例，根据上述两个式子算出两个概率，将实例分类到概率较大的那一类中。

   一个事件的几率（odds）是指改时间发生的概率与该事件不发生的概率的比值。

   也就是说，如果一个事件发生的概率是 p，那么该事件的几率就是 ，对几率取对数就得到对数几率（log odds）或 logit 函数。

   对逻辑斯蒂回归而言，

 

   这就是说，在逻辑斯蒂回归模型中，输出 Y=1 的对数几率就变成了由输入 x 的线性函数表示的回归模型。

   当 logit 函数值大于 0 时，y=1；反之，y=0。（这不就有点像感知机了吗？）

   通过估计参数 ω，然后将几率转换为概率，得到一个分类。

 

3、参数 ω 的估计

   设

   似然函数就为

   再对对数似然函数求极大，得到 ω 的估计值。

   实际中，解这个优化问题的方法常用梯度下降和拟牛顿法。

 

4、多项逻辑斯蒂回归

   设离散型随机变量  ，多项逻辑斯蒂回归模型为

   其中，

   参数估计可以同样采用二项时的方法。

 

  【参考文献】

  [1] 李航. 统计学习方法：(77-81). 2011.