机器学习

测试集结果(以“有毒”为正类):精度 1.0000、查准率 1.0000、查全率 1.0000、F1 1.0000
十折交叉验证最优F1:1.000000,最佳参数:n_estimators=400,max_depth=None,max_features='sqrt'
n_estimators(树数):增大可降低方差、提升稳定性,但训练时间增加;在400附近已非常稳定
max_depth(最大深度):None允许树充分拟合类别组合;过小深度会欠拟合、降低区分力
max_features(特征子采样):sqrt是随机森林的常用配置,提升树间差异性、改善泛化
class_weight:类别近似均衡时影响小;若引入外部数据造成不均衡,可考虑balanced
结论:在本数据集上,信号极强(如气味、孢子印颜色等),轻量网格即可获得最优F1=1.0
查准率(有毒):1.0000,表示模型判为“有毒”的样本没有误报;安全场景下减少“误报可食”的风险
查全率(有毒):1.0000,表示模型不漏检“有毒”;这是安全性核心指标
F1值(有毒):1.0000,综合了查准率与查全率,表明整体判别非常完美
混淆矩阵:对角线占满,非对角线接近或为0,几乎无“有毒→可食”或“可食→有毒”的误判
十折CV与测试一致:平均F1=1.0,说明模型泛化稳定、无明显过拟合迹象(在该数据特性下)
可能存在的问题

数据易分性过强:UCI蘑菇数据某些特征(如气味)与毒性高度相关,导致完美分类;在真实环境中可能没有如此“干净”的信号
类别型取值语义:类别编码为单字符(如“n”代表“无气味”),若没有字典映射,解释性受限
特征冗余:部分列(如 veiltype)几乎不变,可能引入无效维度;对更大规模模型而言可做清理
可视化局限:pairplot对独热后的高维稀疏不适用,已改用Cramér’s V热图,但其仅反映相关强度,不等同因果
现实鲁棒性:模型在干净数据上完美,但需验证对噪声、缺失增加、异常取值的鲁棒性
可提升的改进思路

多模型对照与鲁棒性
引入 CatBoost(原生类别处理)、LightGBM/XGBoost 进行对照,评估不同算法的稳定性
噪声鲁棒测试:随机扰动部分特征或增加缺失比例,观察指标波动
特征工程与解释性
特征重要性与SHAP:输出全局/局部解释,说明模型如何利用气味、孢子印颜色等关键属性
交互特征:针对强相关的特征组合构造交互,或进行冗余特征剔除
阈值与校准
基于预测概率调节阈值,优先提高有毒的查全率;绘制阈值指标曲线
概率校准(Platt/Isotonic)提高概率输出可信度,用于风险分层
更全面的可视化
互信息热图与Cramér’s V对照,系统比较特征—标签关联强度
降维(PCA/UMAP/tSNE)后二维散点,观察整体分布与分界线形态

posted @ 2025-12-30 22:39  软工李文轩  阅读(6)  评论(0)    收藏  举报