2024.11.27

机器学习实验六

实验六：朴素贝叶斯算法实现与测试

一、实验目的

深入理解朴素贝叶斯的算法原理，能够使用Python语言实现朴素贝叶斯的训练与测试， 并且使用五折交叉验证算法进行模型训练与评估。

 

二、实验内容

（1）从scikit-learn 库中加载 iris 数据集，使用留出法留出 1/3 的样本作为测试集（注 意同分布取样）；

（2）使用训练集训练朴素贝叶斯分类算法；

（3）使用五折交叉验证对模型性能（准确度、精度、召回率和 F1 值）进行评估和选 择；

（4）使用测试集，测试模型的性能，对测试结果进行分析，完成实验报告中实验六的 部分。

 

三、算法步骤、代码、及结果

   1. 算法伪代码

1. 加载数据集

    - 使用 sklearn 提供的鸢尾花数据集。

 

2. 数据划分

    - 使用 `train_test_split` 将数据集划分为训练集和测试集，确保测试集占 1/3，且类别分布一致。

 

3. 训练朴素贝叶斯分类器

    - 初始化高斯朴素贝叶斯（Gaussian Naive Bayes）模型。

    - 使用训练集进行模型训练。

 

4. 五折交叉验证

    - 使用 `cross_validate` 对模型进行五折交叉验证，评估模型的准确率、精度、召回率和 F1 值等指标。

 

5. 测试集评估

    - 使用测试集对模型进行评估，计算并输出准确率、精度、召回率、F1 值。

    - 输出分类报告，显示每个类别的精度、召回率、F1 值等。

 

6. 输出结果

    - 输出交叉验证结果。

    - 输出测试集性能和分类报告。

   2. 算法主要代码

完整源代码\调用库方法（函数参数说明）

from sklearn import datasets
from sklearn.model_selection import train_test_split, cross_validate
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, classification_report

# Step 1: 加载数据并划分训练集和测试集
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 按类别分布划分
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=1/3, random_state=42, stratify=y
)

# Step 2: 训练朴素贝叶斯分类模型
nb_model = GaussianNB()
nb_model.fit(X_train, y_train)

# Step 3: 五折交叉验证
scoring_metrics = ['accuracy', 'precision_macro', 'recall_macro', 'f1_macro']
cv_results = cross_validate(nb_model, X_train, y_train, cv=5, scoring=scoring_metrics)

print("五折交叉验证结果：")
for metric in scoring_metrics:
    print(f"{metric}: {cv_results['test_' + metric].mean():.4f}")

# Step 4: 测试集评估
y_pred = nb_model.predict(X_test)

accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred, average='macro')
recall = recall_score(y_test, y_pred, average='macro')
f1 = f1_score(y_test, y_pred, average='macro')

print("\n测试集性能：")
print(f"Accuracy: {accuracy:.4f}")
print(f"Precision: {precision:.4f}")
print(f"Recall: {recall:.4f}")
print(f"F1 Score: {f1:.4f}")

print("\n分类报告：")
print(classification_report(y_test, y_pred, target_names=iris.target_names))

 

1  datasets.load_iris(): 加载鸢尾花数据集，包含 150 个样本，4 个特征，适合用于分类任务。

2  train_test_split(): 将数据集划分为训练集和测试集，使用 stratify=y 保证类别分布一致，避免某一类别的数据过多或过少。

3  GaussianNB(): 初始化高斯朴素贝叶斯分类器，它假设特征服从高斯分布。

4  cross_validate(): 使用五折交叉验证评估模型，计算每一折的准确率、精度、召回率、F1 值。

5  accuracy_score(), precision_score(), recall_score(), f1_score(): 分别计算模型在测试集上的准确率、精度、召回率和 F1 值。

6  classification_report(): 输出详细的分类报告，包括每个类别的精度、召回率、F1 值，以及支持数（每个类别在测试集中的样本数量）。

 

   3. 训练结果截图（包括：准确率、精度（查准率）、召回率（查全率）、F1）

 

 

四、实验结果分析

1. 测试结果截图（包括：准确率、精度（查准率）、召回率（查全率）、F1）

 

 

2. 对比分析

 

1  准确率（Accuracy）：模型在五折交叉验证和测试集上的准确率都较高，尤其是在测试集上的准确率达到了 98% 以上，说明模型能够很好地对不同的类别进行区分。

2  精度（Precision）：模型的精度表现非常好，尤其是 Setosa 类的精度为 1。整体来看，精度表现较为均衡。

3  召回率（Recall）：模型的召回率也很高，特别是对 Versicolor 类的召回率为 1，其他类别的召回率也接近 1，表明模型对大多数类别有较强的识别能力。

4  F1 值：F1 值较高，尤其是 Setosa 类和 Versicolor 类，表明精度和召回率在这些类别上都非常好，F1 值均接