实验二：逻辑回归算法实验
【实验目的】
1.理解逻辑回归算法原理，掌握逻辑回归算法框架；
2.理解逻辑回归的sigmoid函数；
3.理解逻辑回归的损失函数；
4.针对特定应用场景及数据，能应用逻辑回归算法解决实际分类问题。
【实验内容】
1.根据给定的数据集，编写python代码完成逻辑回归算法程序，实现如下功能：
建立一个逻辑回归模型来预测一个学生是否会被大学录取。假设您是大学部门的管理员，您想根据申请人的两次考试成绩来确定他们的入学机会。您有来自以前申请人的历史数据，可以用作逻辑回归的训练集。对于每个培训示例，都有申请人的两次考试成绩和录取决定。您的任务是建立一个分类模型，根据这两门考试的分数估计申请人被录取的概率。
算法步骤与要求：
(1)读取数据；(2)绘制数据观察数据分布情况；(3)编写sigmoid函数代码；(4)编写逻辑回归代价函数代码；(5)编写梯度函数代码；(6)编写寻找最优化参数代码（可使用scipy.opt.fmin_tnc()函数）；(7)编写模型评估（预测）代码，输出预测准确率；(8)寻找决策边界，画出决策边界直线图。
2. 针对iris数据集，应用sklearn库的逻辑回归算法进行类别预测。
要求：
（1）使用seaborn库进行数据可视化；（2）将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测；（3）输出分类结果的混淆矩阵。
【实验报告要求】
1.对照实验内容，撰写实验过程、算法及测试结果；
2.代码规范化：命名规则、注释；
3.实验报告中需要显示并说明涉及的数学原理公式；
4.查阅文献，讨论逻辑回归算法的应用场景；
问题1：
（1）读取数据
(2)绘制数据观察数据分布情况
（3）数据预处理
(4)编写sigmoid函数代码
(5)编写逻辑回归代价函数代码
(6)编写梯度函数代码
(7)编写寻找最优化参数代码
函数常用参数值解释：
func：优化的目标函数 （在这里要优化的是代价函数）
x0：初始值，必须是一维数组 （在这里传的是一维的theta）
fprime：提供优化函数func的梯度函数，不然优化函数func必须返回函数值和梯度，或者设置approx_grad=True （在这里梯度函数是gradient函数，并且要求返回的是一维数组）
args：元组，是传递给优化函数的参数
函数返回值解释：
x ： 数组，返回的优化问题目标值 （在这里即优化后，theta的最终取值）
nfeval：整数，功能评估的数量。在进行优化的时候，每当目标优化函数被调用一次，就算一个function evaluation。在一次迭代过程中会有多次function evaluation。这个参数不等同于迭代次数，而往往大于迭代次数。
rc: int，返回码
(8)编写模型评估（预测）代码，输出预测准确率
- 对预测准确率进行计算，对录取与不录取进行分类预测，如果预测值与实际值相等，则在correct数组中输入1，反之，在correct数组中输入0
- 先定义预测函数，根据三个参数进行预测，如果sigmoid函数算出来的大于0.5，则预测的离散值为1，若小于0.5，则预测的离散值为0
(9)寻找决策边界，画出决策边界直线图
问2：
（1）使用seaborn库进行数据可视化
（2）将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测
（3）输出分类结果的混淆矩阵
