9.22

（1）从 scikit-learn 库中加载 iris 数据集，使用留出法留出 1/3 的样本作为测试集（注

意同分布取样）；

（2）使用训练集训练对数几率回归（逻辑回归）分类算法；

（3）使用五折交叉验证对模型性能（准确度、精度、召回率和 F1 值）进行评估和选

择；

（4）使用测试集，测试模型的性能，对测试结果进行分析，完成实验报告中实验二的

部分。

import numpy as np
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, cross_val_score, KFold
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# 加载iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 使用留出法划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=1/3, random_state=42, stratify=y)

# 训练对数几率回归模型
logreg = LogisticRegression()
logreg.fit(X_train, y_train)

# 五折交叉验证评估模型性能
kf = KFold(n_splits=5, shuffle=True, random_state=42)
cv_scores = cross_val_score(logreg, X_train, y_train, cv=kf, scoring='accuracy')
precision_scores = cross_val_score(logreg, X_train, y_train, cv=kf, scoring='precision_macro')
recall_scores = cross_val_score(logreg, X_train, y_train, cv=kf, scoring='recall_macro')
f1_scores = cross_val_score(logreg, X_train, y_train, cv=kf, scoring='f1_macro')

print("五折交叉验证准确度:", cv_scores.mean())
print("五折交叉验证精度:", precision_scores.mean())
print("五折交叉验证召回率:", recall_scores.mean())
print("五折交叉验证F1值:", f1_scores.mean())

# 使用测试集测试模型性能
y_pred = logreg.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred, average='macro')
recall = recall_score(y_test, y_pred, average='macro')
f1 = f1_score(y_test, y_pred, average='macro')

print("测试集准确度:", accuracy)
print("测试集精度:", precision)
print("测试集召回率:", recall)
print("测试集F1值:", f1)

在上述代码中：

 

1. 首先从scikit-learn库中加载iris数据集，并使用train_test_split函数按照1/3的比例留出测试集，同时通过stratify=y保证训练集和测试集的类别分布与原始数据集一致。
2. 接着使用训练集对对数几率回归模型进行训练。
3. 然后通过KFold实现五折交叉验证，分别计算模型的准确度、精度、召回率和F1值，并输出它们的平均值，以此来评估模型在训练集上的性能表现，为模型选择提供参考。
4. 最后使用测试集对训练好的模型进行性能测试，并输出相应的评估指标值，从而得到模型在未见过的数据（测试集）上的表现情况，完成对模型性能的全面分析，可将这些结果整理到实验报告中，包括各个评估指标的数值以及对模型性能的分析和总结，例如模型是否存在过拟合或欠拟合现象，以及模型在不同类别样本上的表现差异等内容，以便更深入地了解模型的实际效果和应用价值。