数据
成因:缺失值可能由于硬件故障、网络中断或存储损坏等原因导致某些文件或字段丢失。
图像数据体现:某些照片或帧可能无法解码,或者拍摄过程中可能漏掉某段场景。
影响:少量缺失数据影响较小,但若缺失比例较高,会严重扭曲数据分布,影响模型性能。在深度学习中,尤其是图像或文本任务,缺失数据常常意味着无法使用该样本。
处理:一些结构化数据中的缺失值可以被某些算法(如决策树、随机森林)忽略或自动处理,但图像数据中的缺失往往无法弥补。
定义:异常值指数据中显著偏离总体分布的极端样本,可能是采集错误,也可能是真实的稀有情况。
图像数据体现:例如,极端天气(暴雨、沙尘暴等)或飞行高度异常的无人机拍摄图像。
影响:如果异常值反映真实世界的极端情况,则应保留并加以学习;如果只是错误数据,则会让模型难以收敛,甚至出现误判。
检测:可以通过统计学方法(如3σ原则、箱形图)、机器学习方法(如聚类、孤立森林)或人工审核来定位。
图像中的体现:如高ISO导致的噪点、运动模糊、压缩伪影等,或传感器坏点、镜头污渍等。
影响:噪声会掩盖图像中的真实特征,尤其在边缘检测、目标检测等任务中,噪声会干扰关键特征的提取。
区分噪声与有用特征:某些“花纹”或“复杂背景”看似噪声,但实际上可能是有用的特征(如道路破损、积水等),清洗时需要小心判断。

浙公网安备 33010602011771号