6.逻辑归回

1.用自己的话描述一下，什么是逻辑回归，与线性回归对比，有什么不同？

逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。

区别
线性回归假设响应变量服从正态分布，逻辑回归假设响应变量服从伯努利分布
线性回归优化的目标函数是均方差（最小二乘），而逻辑回归优化的是似然函数（交叉熵）
线性归回要求自变量与因变量呈线性关系，而逻辑回归没有要求
线性回归分析的是因变量自身与自变量的关系，而逻辑回归研究的是因变量取值的概率与自变量的概率
逻辑回归处理的是分类问题，线性回归处理的是回归问题，这也导致了两个模型的取值范围不同：0-1和实数域
参数估计上，都是用极大似然估计的方法估计参数（高斯分布导致了线性模型损失函数为均方差，伯努利分布导致逻辑回归损失函数为交叉熵）

 

 

2.自述一下什么是过拟合和欠拟合？

欠拟合 
因为对于给定数据集，欠拟合的成因大多是模型不够复杂、拟合函数的能力不够。 
为此可以增加迭代次数继续训练、尝试换用其他算法、增加模型的参数数量和复杂程度，或者采用Boosting等集成方法。

过拟合 
过拟合成因是给定的数据集相对过于简单，使得模型在拟合函数时过分地考虑了噪声等不必要的数据间的关联。或者说相对于给定数据集，模型过于复杂、拟合能力过强。

 

 

3.思考一下逻辑回归的应用场景有哪些？

广告点击率

是否为垃圾邮件

是否患病

金融诈骗虚

假账号