深度学习—常用的图像增广技术

什么是图像增广（Image Data Augmentation）

　　1、定义：

　　　　广义的图像数据增强：以增加数据的多样性；有时指的是图像质量增强，如超分辨率技术。

　　　　广义的图像数据增强包含图像质量增强技术

　　2、作用：

 　　　　深度学习以数据驱动方式训练模型，因此深度学习是数据依赖的。

　　　　在深度学习中，图像增强是提高模型准确率的有效途径之一，很多情况下，加入适合的图像增广后。深度学习的模型准确率能够提升2%-5%以上，甚至更多。

图像增广方法分类

　　1、图像变换：

　　　　1）颜色变换、色调分离、对比度、饱和度

　　　　2）几何变换

　　　　　　① 旋转 ② 剪裁 ③ 平移 ④ 翻转 ⑤ 缩放 ⑥ 仿射变换

　　2、图像合成：

　　　　1）简单合成

　　　　　　① Mixup ② Cutmix ③ AugMix 

　　　　2）自动生成

　　　　　　① GAN ② 对抗学习

 

 

图像变换技术

　　1、几何变换：

　　　　1）图像平移 Translate

　　　　2）图像旋转 Rotate

　　　　3）图像裁剪 Crop

　　　　4）图像缩放 Resize/Scale

　　　　5）图像翻转 Flip

　　　　6）错切 Shear

　　　　7）仿射变换 Affine

　　2、颜色变换：

　　　　1）色调分离 Posterize      从原渐变色到跳阶色

　　　　2）图像的锐度、亮度、饱和度、对比调整

 

RandAugment 无监督图像增广

　　主要思想：

　　　　对每幅图像，从14种图像变换方法中，随机选择N种图像变换方法，并进行M种不同强度的扭曲形变。

　　　　　　该方法避免了AutoAugment方法在参数空间中的较大搜索代价；无需在下游任务上搜索验证。

 

 

Mixup 图像合成方法 监督型图像增广

　　1、主要思想：

　　　　两幅图像的对应像素值及标签向量线性加权相加

　　2、简述　　　

 

　　　　x是像素点，y是标签

　　　　合成图像的对应标签：对原始

　　　　由随机生成的数λ_i、λ_j，对两幅原始图像的标签向量y_i和y_j（one-hot编码向量），进行线性加权求和，得到合成图像的对应标签。

　　　　y = λ_i * y_i + λ_j * i_j，

 

 

Manifold Mixup 图像合成方法 监督型图像增强

　　1、主要思想：两幅图像的特征向量

　　2、简述：

 

 

CutMix 图像合成方法 监督型图像增强

　　1、主要思想：将一幅图像的部分区域（图像块）进行替换，并更新其标签向量

　　2、简述：

　　　　λ是根据两幅图在合成后的图像中的占比决定，如cat图像在合成后的图像中占比为0.9，故λ_cat = 0.9

 

 　　　

 

AugMix 图像合成方法

　　1、主要思想：将同一幅图像同时进行K次不同的混合图像变换，再加权合成不同混合变换的图像。（不对标签进行操作）

　　2、简述：　　　

　　3、特点：将所有图像（K幅）对应像素值像素都进行线性插值，进行合成，最后利用Beta分布生成权重与原图合成.

　　　　　　误差回传，权值更新

 

其它图像增广方法