视觉模型训练/推理分辨率不一致问题：GSD 对齐与切图推理方案

训练/推理分辨率不一致问题：GSD 对齐与切图推理方案

背景问题

训练数据集分辨率为 512×512，实际部署时希望用 2048×2048 摄像头拍摄，并通过调整摄像头高度让目标物体在图像中保持与训练时一致的物理尺度（即固定 GSD，Ground Sample Distance，每像素对应的实际物理尺寸）。

核心思路是对的：通过固定 GSD 保证目标的视觉大小/纹理密度与训练集一致，比直接把 2048 图 resize 到 512（丢失细节）更合理。但直接把整张 2048×2048 图喂进 512 训练出来的网络，仍存在隐性风险。

直接整图推理的潜在问题

1. 感受野与目标比例关系
虽然理论上感受野覆盖的"目标+局部背景"比例因为 GSD 对齐而保持不变，但网络结构本身的感受野是固定的，实际效果依赖具体架构实现。
2. BatchNorm 统计量偏移
BN 层统计量是在 512 分辨率对应的 batch 分布下学习的，输入分辨率突变（512→2048）可能导致特征分布偏移，实测 mAP 可能有一定下降。
3. 位置编码（Position Embedding）问题
对于带位置编码的架构（如 RT-DETR），训练时的位置编码是按 512 对应的 patch 数量学习的。切换到 2048 分辨率需要对位置编码做插值处理，不同实现的支持程度不同，需检查源码确认。YOLO（anchor-free，v8+）相对宽容。
4. 算力/显存代价
2048 相对 512 是 (2048/512)² = 16 倍的计算量和显存占用，需要提前评估硬件（如 RTX 5090）能否支撑实时/批量推理的吞吐需求。

推荐方案：切图推理（SAHI）

既然已经通过调整摄像头高度对齐了目标的物理尺度（GSD），更稳妥的做法不是整图塞进网络，而是滑窗切图 + 独立推理 + 结果合并：

result = get_sliced_prediction(
    "image_2048.jpg",
    detection_model,
    slice_height=512,
    slice_width=512,
    overlap_height_ratio=0.2,
    overlap_width_ratio=0.2,
)

优势：

• 每个 512×512 patch 送入网络的分布和训练时完全一致（同样的 BN 统计、位置编码尺度、感受野-目标比例）
• 保留 2048 高分辨率带来的细节优势，能检测更小/更密集的目标
• overlap 参数可避免边缘目标被切断，配合 NMS 合并去重

代价：推理次数增多（一张 2048 图约切成 4×4=16 个有重叠的 patch），但可结合现有 arq/Redis 异步任务队列架构做并行化处理。

验证方法

不确定整图推理是否可行时，建议用验证集做 A/B 对比：

1. Baseline：512 训练分辨率下的 mAP
2. 整图直接推理：2048 图直接输入网络的 mAP（同一批目标）
3. 切图推理（SAHI）：2048 图切图后的 mAP

若方案 2 相对方案 1 掉点明显，说明模型架构对分辨率突变敏感，应采用切图方案。

结论

对于小目标密集检测场景（如玉米螟、棉铃虫计数、VisDrone 类无人机小目标检测），切图推理（SAHI）是业界常见的 baseline 提升手段，建议直接作为默认方案，无需在"整图能否直接跑"上过多纠结。