实验二：逻辑回归算法实验

学号：201613305

姓名：冯莹

【实验目的】

理解逻辑回归算法原理，掌握逻辑回归算法框架；
理解逻辑回归的sigmoid函数；
理解逻辑回归的损失函数；
针对特定应用场景及数据，能应用逻辑回归算法解决实际分类问题。

【实验内容】

1.根据给定的数据集，编写python代码完成逻辑回归算法程序，实现如下功能：

建立一个逻辑回归模型来预测一个学生是否会被大学录取。假设您是大学部门的管理员，您想根据申请人的两次考试成绩来确定他们的入学机会。您有来自以前申请人的历史数据，可以用作逻辑回归的训练集。对于每个培训示例，都有申请人的两次考试成绩和录取决定。您的任务是建立一个分类模型，根据这两门考试的分数估计申请人被录取的概率。
算法步骤与要求：

(1)读取数据；(2)绘制数据观察数据分布情况；(3)编写sigmoid函数代码；(4)编写逻辑回归代价函数代码；(5)编写梯度函数代码；(6)编写寻找最优化参数代码（可使用scipy.opt.fmin_tnc()函数）；(7)编写模型评估（预测）代码，输出预测准确率；(8)寻找决策边界，画出决策边界直线图。

2. 针对iris数据集，应用sklearn库的逻辑回归算法进行类别预测。

要求：

（1）使用seaborn库进行数据可视化；（2）将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测；（3）输出分类结果的混淆矩阵。

【实验报告要求】

对照实验内容，撰写实验过程、算法及测试结果；
代码规范化：命名规则、注释；
实验报告中需要显示并说明涉及的数学原理公式；
查阅文献，讨论逻辑回归算法的应用场景；

 

一，

1.读取数据

 

 2.绘制数据观察数据分布情况

 

 3.编写sigmoid函数代码

逻辑回归的假设模型：

 

 

 

 

 4.编写逻辑回归代价函数代码
逻辑回归的代价函数：

 

 

 

 5.编写梯度函数代码

梯度向量各分量：

 

 

 

 6.编写寻找最优化参数代码（可使用scipy.opt.fmin_tnc()函数）

 

 7.编写模型评估（预测）代码，输出预测准确率

 

 8.寻找决策边界，画出决策边界直线图

 

 

二， 针对iris数据集，应用sklearn库的逻辑回归算法进行类别预测

1.使用seaborn库进行数据可视化

 

 2.将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测

 

 3.输出分类结果的混淆矩阵

 

 3.涉及的数学原理公式

（1）sigmoid 函数：

g:R→[0,1] (值域是0到1)
g(0)=0.5 (当x=0时,y=0.5)
g(−∞)=0 (当x趋于负无穷时,y=0)
g(+∞)=1 (当x趋于正无穷时,y=1)

（2）梯度函数:

 求导的过程:

（3）代价函数：

 其中

 

4.逻辑回归算法的应用场景及存在的问题

应用场景：

用于分类场景， 尤其是因变量是二分类（0/1，True/False，Yes/No）时我们应该使用逻辑回归。
不要求自变量和因变量是线性关系

存在的问题：

防止过拟合和低拟合，应该让模型构建的变量是显著的。一个好的方法是使用逐步回归方法去进行逻辑回归。
逻辑回归需要大样本量，因为最大似然估计在低样本量的情况下不如最小二乘法有效。
独立的变量要求没有共线性。