机器学习 实验四

import numpy as np
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, cross_val_score, KFold
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# 步骤（1）：加载数据集并划分训练集和测试集
print("步骤（1）：加载 iris 数据集，并使用留出法留出 1/3 的样本作为测试集")
iris = load_iris()
X, y = iris.data, iris.target
# 使用 stratify 参数保证训练集和测试集的类别分布一致
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=1/3, stratify=y, random_state=42)
print("数据集划分完成")

# 步骤（2）：初始化带有预剪枝参数的决策树分类器
print("\n步骤（2）：使用训练集训练 C4.5 算法，设置预剪枝参数")
clf = DecisionTreeClassifier(criterion='entropy', # 使用信息增益率进行特征选择
                             max_depth=None,      # 不限制最大深度，需通过交叉验证调整
                             min_samples_split=2, # 内部节点再划分所需最小样本数
                             min_samples_leaf=1,  # 叶子节点所需最小样本数
                             random_state=42)

# 步骤（3）：使用五折交叉验证评估模型性能
print("\n步骤（3）：使用五折交叉验证对模型性能进行评估")
kf = KFold(n_splits=5, shuffle=True, random_state=42)
cv_scores = cross_val_score(clf, X_train, y_train, cv=kf, scoring='accuracy')
print(f"交叉验证得分: {cv_scores}")
print(f"平均交叉验证得分: {np.mean(cv_scores)}")

# 训练模型
print("正在训练模型...")
clf.fit(X_train, y_train)
print("模型训练完成")

# 步骤（4）：使用测试集测试模型性能
print("\n步骤（4）：使用测试集测试模型性能，并分析结果")
y_pred = clf.predict(X_test)

# 性能评估
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred, average='weighted')
recall = recall_score(y_test, y_pred, average='weighted')
f1 = f1_score(y_test, y_pred, average='weighted')

print(f"准确度: {accuracy}")
print(f"精度: {precision}")
print(f"召回率: {recall}")
print(f"F1 值: {f1}")

# 注意事项：对于后剪枝，scikit-learn 的决策树并不直接支持。
# 我们可以通过网格搜索或随机搜索来寻找最优的 'max_depth' 或其他参数，
# 这样可以间接地实现后剪枝的效果。