论文多次运行指标的用法与含义解释

实验结果整体较充分，但部分章节主要报告单次指标。建议统一报告多次独立运行的均值、标准差或置信区间，并补充显著性检验。随机平衡为1:1 的数据处理可能高估实际攻击检测性能，还应报告原始不平衡分布下的误报率、漏报率和 AUC/PR-AUC。

麻烦帮我解释一下，这里的指标的含义

一、关于"多次独立运行"的指标

审稿人指出，部分章节只报告了单次实验的结果。深度学习和联邦学习的结果受随机种子影响，包括参数初始化、数据划分、客户端采样和差分隐私噪声等。同一方法换一个种子，准确率可能波动1～2个百分点。如果本文方法只比基线高0.5个百分点，单次结果无法说明这个优势是真实存在的，还是碰巧得到的。

所以审稿人要求把同一实验用不同随机种子重复跑多次（通常5次或10次），再报告以下统计量。

1. 均值（Mean）

多次运行结果的平均值，代表方法的"典型"表现。

2. 标准差（Standard Deviation）

衡量多次结果之间的波动大小。标准差越小，方法越稳定。

论文中常写成 均值 ± 标准差，例如：准确率 95.32 ± 0.41（%）。

3. 置信区间（Confidence Interval, CI）

给出一个区间，表示"真实平均性能有95%的把握落在这个范围内"。计算公式为：

\[\text{均值} \pm t \times \frac{\text{标准差}}{\sqrt{n}} \]

其中n为运行次数，t为查表得到的系数（n=5时取2.776，n=10时取2.262）。

例如运行5次，均值95.32，标准差0.41，则95%置信区间为：
95.32 ± 2.776 × 0.41 / √5 ≈ 95.32 ± 0.51，即 [94.81, 95.83]。

审稿人说的是"标准差或置信区间"，二者选一种即可。最常见的写法是均值 ± 标准差。

二、显著性检验

均值更高还不够，还要证明这个差距不是随机波动造成的，这就需要显著性检验。

做法：用同一组随机种子分别运行本文方法和基线方法，得到两组成对的结果，再做检验，得到p值。

• p < 0.05：差异在统计上显著，可以认为本文方法确实更好。
• p ≥ 0.05：差异可能只是随机波动造成的。

常用方法：

方法	说明
配对t检验（paired t-test）	最常用，假设差值近似服从正态分布
Wilcoxon符号秩检验	非参数方法，不要求正态分布，更稳妥

一个容易踩的坑：如果只运行5次，Wilcoxon双侧检验能得到的最小p值是0.0625，永远达不到0.05。因此，只运行5次时建议用配对t检验；想用Wilcoxon检验，至少需要运行6次，建议10次。

三、为什么1:1随机平衡会高估性能

原稿的做法可能是把正常样本随机抽到和攻击样本一样多（1:1）再做测试。但在真实环境中，正常流量远多于攻击流量，攻击可能只占1%甚至更少。

举例说明：假设某方法会把1%的正常样本误判为攻击，并能检出95%的攻击。

测试场景	正常样本	攻击样本	被误报的正常样本	检出的攻击	报警中真正是攻击的比例（精确率）
1:1平衡	5000	5000	50	4750	4750/4800 ≈ 99%
真实分布（99:1）	9900	100	99	95	95/194 ≈ 49%

同一个模型，在1:1测试集上看起来近乎完美。到了真实分布下，一半以上的报警都是误报。这就是审稿人说的"可能高估实际攻击检测性能"。因此需要在原始比例下测试，并重点报告下面这些指标。

四、误报率和漏报率

先看混淆矩阵（以"攻击"为正类）：

	预测为攻击	预测为正常
实际是攻击	TP（真正例，正确检出）	FN（假负例，漏掉的攻击）
实际是正常	FP（假正例，误报）	TN（真负例，正确放行）

1. 误报率（FPR，False Positive Rate）

\[FPR = \frac{FP}{FP + TN} \]

含义：正常样本中被错误判为攻击的比例。
在车联网中，误报意味着合法车辆被拦截或报警，会影响正常业务。误报过多时，运维人员也会逐渐忽视报警。

2. 漏报率（FNR，False Negative Rate）

\[FNR = \frac{FN}{FN + TP} = 1 - \text{召回率} \]

含义：攻击样本中没有被检测出来的比例。
在车联网中，漏报意味着攻击未被发现，可能直接带来行车安全风险。

两者通常此消彼长：调低判定阈值能减少漏报，但会增加误报。因此单报准确率不够，需要把两者都报告出来。

五、AUC 与 PR-AUC

前面的指标都依赖一个固定的判定阈值（比如概率大于0.5判为攻击）。AUC类指标综合考察所有阈值下的表现，与阈值的选取无关。

1. AUC（ROC-AUC）

• ROC曲线：横轴为误报率（FPR），纵轴为检出率（TPR，即召回率）。阈值从高到低变化时，会画出一条曲线。
• AUC：ROC曲线下方的面积，取值0.5～1。
  • 0.5 表示和随机猜测一样
  • 1 表示完美区分
• 直观含义：随机抽一个攻击样本和一个正常样本，模型给攻击样本打的分更高的概率。

局限：ROC-AUC对类别不平衡不敏感。正常样本数量巨大时，即使误报的绝对数量很多，FPR仍然很小，AUC依然可能很高。所以审稿人特别加上了PR-AUC。

2. PR-AUC（精确率-召回率曲线下面积）

• PR曲线：横轴为召回率（Recall），纵轴为精确率（Precision）。
• PR-AUC：该曲线下方的面积，取值0～1。
• 为什么更适合不平衡场景：精确率直接反映"报警中有多少是真攻击"，误报一多就会明显下降，能如实暴露上面表格中那种问题。
• 基准线：随机猜测时，PR-AUC约等于攻击样本所占比例。比如攻击占1%，随机猜测的PR-AUC约为0.01。因此，在不平衡数据上能达到0.8已经相当不错。

如果是多分类任务，可以把"正常 vs. 所有攻击"作为二分类来计算这些指标，也可以对每类攻击单独计算后取平均（macro平均），并在论文中说明采用了哪种方式。

六、落到论文中的建议格式

表格可以参考如下形式（均为多次运行的结果）：

方法	准确率(%)	F1(%)	FPR(%)	FNR(%)	AUC	PR-AUC	p值
基线A	93.1 ± 0.6	…	…	…	…	…	0.003
基线B	94.0 ± 0.5	…	…	…	…	…	0.021
本文方法	95.3 ± 0.4	…	…	…	…	…	—

并在表注中说明：

• 结果为N次独立运行（不同随机种子）的均值 ± 标准差；
• 测试集保持原始类别比例；
• p值为本文方法与对应基线的配对t检验（或Wilcoxon检验）结果。