实验二：逻辑回归算法实验

博客班级	班级链接
作业要求	作业链接
学号	181613146

【实验目的】

理解逻辑回归算法原理，掌握逻辑回归算法框架；
理解逻辑回归的sigmoid函数；
理解逻辑回归的损失函数；
针对特定应用场景及数据，能应用逻辑回归算法解决实际分类问题。

【实验内容】

1. 根据给定的数据集，编写python代码完成逻辑回归算法程序，实现如下功能：
   建立一个逻辑回归模型来预测一个学生是否会被大学录取。假设您是大学部门的管理员，您想根据申请人的两次考试成绩来确定他们的入学机会。您有来自以前申请人的历史数据，可以用作逻辑回归的训练集。对于每个培训示例，都有申请人的两次考试成绩和录取决定。您的任务是建立一个分类模型，根据这两门考试的分数估计申请人被录取的概率。
   算法步骤与要求：
   (1)读取数据；(2)绘制数据观察数据分布情况；(3)编写sigmoid函数代码；(4)编写逻辑回归代价函数代码；(5)编写梯度函数代码；(6)编写寻找最优化参数代码（可使用scipy.opt.fmin_tnc()函数）；(7)编写模型评估（预测）代码，输出预测准确率；(8)寻找决策边界，画出决策边界直线图。

2. 针对iris数据集，应用sklearn库的逻辑回归算法进行类别预测。
   要求：
   （1）使用seaborn库进行数据可视化；（2）将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测；（3）输出分类结果的混淆矩阵。

【实验报告要求】

对照实验内容，撰写实验过程、算法及测试结果；
代码规范化：命名规则、注释；
实验报告中需要显示并说明涉及的数学原理公式；
查阅文献，讨论逻辑回归算法的应用场景；

【实验过程与步骤】

1. 编写逻辑回归算法程序

(1) 读取数据

from tkinter.messagebox import NO
import pandas as pd
data = pd.read_csv('./ex2data1.txt', delimiter=',',
                   header=None, names=['exam1', 'exam2', 'isAdmitted'])
data

(2) 绘制数据观察数据分布情况

import matplotlib.pyplot as plt
# 将录取和未录取进行分类
positive = data[data["isAdmitted"] == 1]  # 获取正样本
negative = data[data["isAdmitted"] == 0]  # 获取负样本
fig, ax = plt.subplots(figsize=(12, 8))  # 创建画布，设置画布的大小
ax.scatter(positive['exam1'], positive['exam2'], s=30,
           c='b', marker='o', label='Admitted')  # 散点图，添加配置项
ax.scatter(negative['exam1'], negative['exam2'], s=30,
           c='r', marker='x', label='Not Admitted')
ax.legend()  # 添加图例
ax.set_xlabel('exam1 score')
ax.set_ylabel('exam2 score')  # 添加x,y轴标签

(3) 编写sigmoid函数代码并可视化

import numpy as np


def sigmoid(a):
    return 1/(1+np.exp(-a))


nums = np.arange(-10, 10, step=1)

fig, ax = plt.subplots(figsize=(12, 8))
ax.plot(nums, sigmoid(nums), 'r')
plt.show()

(4) 编写逻辑回归代价函数

def model(x, theta):
    return sigmoid(np.dot(x, theta.T))  # dot矩阵的乘法运算 T转置


def cost(theta, x, y):
    theta = np.matrix(theta)  # 参数theta是一维数组，进行矩阵想乘时要把theta先转换为矩阵
    L1 = np.multiply(-y, np.log(model(x, theta)))  # multiply()数组和矩阵对应位置相乘
    L2 = np.multiply(1-y, np.log(1-model(x, theta)))
    return np.sum(L1-L2)/(len(x))


data.insert(0, 'Ones', 1)
cols = data.shape[1]
x = np.array(data.iloc[:, 0:cols-1])  # 1-倒数第1列的数据
y = np.array(data.iloc[:, cols-1:cols])  # 倒数第1列的数据
theta = np.zeros(x.shape[1])  # 1行三列的矩阵全部填充为0
print(cost(theta, x, y))

(5) 编写梯度函数

def gradient(theta, x, y):
    theta = np.matrix(theta)  # 要先把theta转化为矩阵
    grad = np.dot(((model(x, theta)-y).T), x)/len(x)
    return np.array(grad).flatten()

    # 因为下面寻找最优化参数的函数（opt.fmin_tnc())要求传入的gradient函返回值需要是一维数组，
    # 因此需要利用flatten（）将grad进行转换以下
gradient(theta, x, y)

(6) 寻找最优化参数

import scipy.optimize as opt
result = opt.fmin_tnc(func=cost, x0=theta, fprime=gradient, args=(x, y))
result

(7) 模型评估预测

def predict(theta, x):
    theta = np.matrix(theta)
    temp = sigmoid(x*theta.T)
    return [1 if x >= 0.5 else 0 for x in temp]


theta = result[0]
predictValues = predict(theta, x)
hypothesis = [1 if a == b else 0 for (a, b) in zip(predictValues, y)]
accuracy = hypothesis.count(1)/len(hypothesis)
print('accuracy = {0}%'.format(accuracy*100))

(8) 寻找决策边界，画出决策边界直线图

def find_x2(x1, theta):
    return [(-theta[0]-theta[1]*x_1)/theta[2] for x_1 in x1]


x1 = np.linspace(30, 100, 1000)
x2 = find_x2(x1, theta)
data1 = data[data['isAdmitted'] == 1]
data2 = data[data['isAdmitted'] == 0]
fig, ax = plt.subplots(figsize=(12, 8))
ax.scatter(data1['exam1'], data1['exam2'], c='b', marker='o', label='Admitted')
ax.scatter(data2['exam2'], data2['exam1'], c='r',
           marker='x', label="Not Admitted")
ax.plot(x1, x2, 'g', label="decision boundary")
ax.legend(loc=1)
ax.set_xlabel('exam1 score')
ax.set_ylabel('exam2 score')
ax.set_title("Training data with decision boundary")
plt.show()

2. 针对iris数据集，应用sklearn库的逻辑回归算法进行类别预测

(1) 使用seaborn库进行数据可视化

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_iris
data = load_iris()  # 得到数据特征
iris_target = data.target  # 得到数据对应的标签
iris_features = pd.DataFrame(
    data=data.data, columns=data.feature_names)  # 利用Pandas转化为DataFrame格式
# 合并标签和特征信息
iris_all = iris_features.copy()  # 进行浅拷贝，防止对于原始数据的修改
iris_all['target'] = iris_target
# 特征与标签组合的散点可视化
sns.pairplot(data=iris_all, diag_kind='hist', hue='target')
plt.show()

(2) 将iris数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
# 将训练集测试集按照8：2比例划分
X_train, X_test, y_train, y_test = train_test_split(
    iris_features, iris_target, test_size=0.2, random_state=2020)
clf = LogisticRegression(random_state=0, solver='lbfgs')
# 在训练集上训练逻辑回归模型
clf.fit(X_train, y_train)
print('逻辑回归的权重：\n', clf.coef_)  # 查看权重weight
print('逻辑回归的截距（w0）\n', clf.intercept_,'\n')  # 查看偏置
train_predict = clf.predict(X_train)
test_predict = clf.predict(X_test)
print(train_predict,'\n\n', test_predict)

(3) 输出分类结果的混淆矩阵

from sklearn import metrics
# 利用accuracy评估模型效果
print('逻辑回归准确度:',
      metrics.accuracy_score(y_train, train_predict))
print('逻辑回归准确度:',
      metrics.accuracy_score(y_test, test_predict))
# 查看混淆矩阵
confusion_matrix_result = metrics.confusion_matrix(y_test, test_predict)
print('混淆矩阵结果:\n', confusion_matrix_result)
# 利用热力图对于结果进行可视化,画混淆矩阵
plt.figure(figsize=(8, 6))
sns.heatmap(confusion_matrix_result, annot=True, cmap='Greys')
plt.xlabel('Predictedlabels')
plt.ylabel('Truelabels')
plt.show()

【实验补充】

1. Sigmod函数

sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid作为激活函数有以下优缺点：

优点：平滑、易于求导。

缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。

Sigmoid函数由下列公式定义

\(S\left(x\right)=\frac{1}{1+e^{-x}}\)

其对x的导数可以用自身表示：

\(S^{'}(x)=\frac{e^{-x}}{(1+e^{-x})^{2}}=S(x)(1-S(x))\)

Sigmoid函数的图形如S曲线

2. 代价函数

损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计（parametric estimation） [1] ，在宏观经济学中被用于风险管理（risk management）和决策 [2] ，在控制理论中被应用于最优控制理论（optimal control theory） [3] 。

对于回归问题，我们需要求出代价函数来求解最优解，常用的是平方误差代价函数:

\(J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^{m}\left(y^{(i)} \log h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right]\right.\)

3. 梯度下降

　在机器学习算法中，在最小化损失函数时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数，和模型参数值。