准确率为什么最危险:安全攻防场景下的指标陷阱与真相
作者:HOS(安全风信子)
日期:2026-01-09
来源平台:GitHub
摘要: 准确率(Accuracy)作为机器学习中最常用的评估指标,在安全攻防场景下却隐藏着巨大的风险。本文深入分析准确率的局限性,特别是在处理安全领域常见的不平衡数据、时间依赖数据和对抗环境时的致命缺陷。结合最新的GitHub开源项目和安全实践,通过3个完整代码示例、2个Mermaid架构图和2个对比表格,系统阐述安全场景下评估指标的选择原则。文章揭示了准确率如何误导安全工程师,导致模型在实际攻防中失效,并提供了更适合安全场景的评估指标体系和最佳实践。
1. 背景动机与当前热点
1.1 准确率的传统统治地位
准确率是机器学习中最直观、最常用的评估指标,它表示模型正确预测的样本数占总样本数的比例。在传统的机器学习教程和实践中,准确率往往是首选的评估指标,甚至是唯一被关注的指标。然而,这种传统观点在安全攻防场景下却可能导致灾难性的后果。
1.2 安全领域的特殊挑战
安全领域的机器学习面临着与传统机器学习截然不同的挑战:
- 极端不平衡的数据分布:正常样本占比往往超过99%,而攻击样本仅占不到1%,甚至更低。
- 动态演变的威胁:攻击模式不断变化,模型需要持续适应新的攻击类型。
- 对抗环
浙公网安备 33010602011771号