小样本视觉实验怎样防止数据泄漏：从样本身份到锁定测试集
本文是一份公开的实验设计笔记，只讨论通用检查方法，不包含任何未公开课题的数据、划分文件或实验结果。
小样本任务最危险的结果，不一定是低准确率，而是一个看起来很高、实际上无法复现的准确率。植物病害、医学影像和工业质检等任务常有连续拍摄、同一对象多角度采样、裁剪图与原图共存等特点。若先随机打散图片再划分，同一株植物、同一片叶或同一次拍摄产生的高度相关图像可能同时出现在训练集和测试集里。
模型此时学会的可能不是病害，而是背景、光照、设备噪声或对象身份。
一、先给每张图片补上“身份”
很多数据集只有 image_path 和 label，但独立性判断需要更完整的来源字段。对植物病害图像，至少可以尝试记录：
plant_id：植株或采样对象；leaf_id：同一植株内的叶片；capture_session：一次连续拍摄；site：温室、试验田或采集地点；device：相机或手机设备；timestamp：采集时间；parent_image：裁剪图对应的原图。
这些字段并不都会成为模型输入，但它们决定了如何划分数据。原则是：只要两个样本共享一种可能被模型记住的来源，就应认真评估是否必须放进同一个分区。
二、四种常见泄漏并不都长得像“重复图片”
1. 对象泄漏
同一片叶的多个角度、同一视频的相邻帧或同一原图的不同裁剪被分到两边。文件名不同，内容却高度相关。
2. 预处理泄漏
先在全体数据上计算均值、标准差、特征选择规则或类别采样权重，再进行交叉验证。测试集的统计信息已经进入训练流程。
3. 模型选择泄漏
反复查看测试集结果，并根据测试集表现调整增强、阈值或超参数。即使没有直接反向传播，测试集也已经承担了验证集的角色。
4. 生成式泄漏
生成模型在完整数据集上训练，随后生成的样本只被放进训练集。这仍不安全，因为生成器可能已经见过测试图像；若它产生近似复本，分类器就可能间接接触测试内容。
三、先冻结划分清单，再训练任何模型
一个实用做法是建立不可变的 split_manifest.csv，把样本路径、标签、组别和分区一起保存。划分脚本可以运行多次，但一旦正式实验开始，清单就不应因某个模型的结果不好而被悄悄修改。
import pandas as pd
from sklearn.model_selection import GroupShuffleSplit
df = pd.read_csv("samples.csv")
groups = df["plant_id"].fillna(df["capture_session"])
outer = GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=2026)
train_val_idx, test_idx = next(outer.split(df, df["label"], groups))
manifest = df.assign(split="train_val")
manifest.loc[test_idx, "split"] = "test"
manifest.to_csv("split_manifest.csv", index=False)
这里只演示按组隔离的核心思想。类别极不均衡时，可使用 StratifiedGroupKFold，但需要同时检查每折是否包含足够的类别与独立组。工具无法替代数据来源知识：究竟按植株、叶片还是拍摄批次分组，必须由采集过程决定。
四、所有“会学习的步骤”只能在训练分区拟合
数据标准化、缺失值处理、降维、特征选择和概率校准都可能从数据中学习参数。把它们封装到管线中，可以减少交叉验证时的手工错误。
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
model = Pipeline([
("scale", StandardScaler()),
("clf", LogisticRegression(max_iter=2000))
])
在深度学习中也应遵守同样的边界：归一化统计量来自训练集，类别权重只由训练标签计算，数据增强只在训练加载器启用，阈值在验证集确定。
五、哈希检查需要两层
精确哈希可以发现字节完全相同的文件：
from hashlib import sha256
from pathlib import Path
def digest(path: Path) -> str:
return sha256(path.read_bytes()).hexdigest()
但重新压缩、缩放或轻微裁剪会改变精确哈希，因此还需要感知哈希、特征相似度或人工抽查。检查顺序可以是：
- 精确哈希找完全重复；
- 感知哈希找缩放、压缩后的近重复；
- 按来源元数据检查同一对象；
- 对高相似候选进行人工确认。
要注意，感知哈希相同不一定代表泄漏，感知哈希不同也不能证明样本独立。它是一道筛查工具，而不是独立性的数学证明。
六、测试集应该像一只封好的信封
我更愿意把测试集理解为最后才打开的信封。训练阶段保存验证指标、学习曲线和失败案例；模型结构、随机种子数量、阈值和停止策略确定后，再运行锁定测试集。若打开测试集后继续修改方法，就需要承认它已参与开发，并准备新的独立测试数据。
建议在实验记录中至少保留：
| 项目 | 应记录内容 |
|---|---|
| 划分依据 | 植株、叶片、采集批次、地点或时间 |
| 独立性检查 | 精确哈希、近重复、来源组重叠 |
| 预处理 | 每一步在哪个分区拟合 |
| 模型选择 | 使用哪个验证策略和指标 |
| 随机性 | 划分种子、训练种子、重复次数 |
| 测试访问 | 何时首次运行，之后是否改过方案 |
七、一个发布结果前的检查清单
在小样本研究里，严格划分通常会让指标变低，却会让结论更接近真实部署。一个可信的较低结果，往往比一个由泄漏抬高的漂亮数字更有研究价值。
参考资料
- Kapoor and Narayanan. Leakage and the Reproducibility Crisis in Machine-Learning-Based Science.
- scikit-learn. Cross-validation Iterators for Grouped Data.
- scikit-learn. GroupKFold Documentation.
浙公网安备 33010602011771号