李航统计学习方法(第二版)（十一）：逻辑斯谛回归

1 简介

逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法。

最大嫡是概率模型学习的一个准则，将其推广到分类问题得到最大嫡模型(maximum entropy model )。

逻辑斯谛回归模型与最大嫡模型都属于对数线性模型。

2 模型

2.1 逻辑斯谛分布

 

 

 

2.2 逻辑斯谛回归模型

2.2.1 二项逻辑斯谛回归模型

 

 

 2.2.2 二项逻辑斯谛回归模型变型

 2.2.3 对数似然函数逻辑斯谛回归模型

 

2.3 多项逻辑斯谛回归

3 学习策略

3.1 对数似然估计

 

 

4 算法

4.1 改进的迭代尺度法

4.2 拟牛顿法