传统的图像特征提取

特征 局部or全局 尺度不变性 亮度不变性 旋转不变性 仿射不变性  
CNN            
SIFT 局部          
             
             
             
             

1、性质解释

尺度不变性:

建议看看这个人的博客:https://zhuanlan.zhihu.com/p/67080514

比如有两个数据集:

数据集A:图像被resize大小512*512,图像中目标的大小200~300(100%)。

数据集B:图像被resize大小512*512,图像中目标的大小10~50(80%),>256(10%),50~256(10%)。

a、数据集A中目标大小分布比较集中,数据集B中目标大小分布相对比较分散。即针对B的模型理论上比针对A的模型更难设计。

b、fine-tune过程存在domain-shift的问题。

     在数据集A上训练了一个模型A,基于A去fine-tuning数据集B的数据,得到适合B的模型B。理论上,因为这里的模型B参数已经适应了数据集A的尺寸,测试数据B的效果会低于直接在数据集B上的训练效果。

     这个现象在很多问题中都有体现:

     基于特定尺寸范围训练的模型,在其它尺寸测试,效果会变差。比如,resize64*64进行GAN生成,测试512*512效果会变差等。

c、网络结构问题

      比如:数据集A,目标最小尺寸为200,进行20次下采样,还可以对应10个点的信息。但是数据集B,要是进行20次下采用,最小目标的特征肯定找不回来了。

d、网络尺寸问题

      同a说的一样,对于尺寸跨度较大的数据集,网络往往难以设计,因为网络总是不能100%的cover所有尺寸的目标。

解决尺寸不变性的论文:arXiv:http://arxiv.org/abs/1711.08189

旋转不变性:

目标旋转前和旋转后的特征一致。比如,设计一个网络识别猫,对目标进行旋转以后,网络依旧可以认出这个东西是猫。

仿射不变性:

若一个图形具有某种性质或者某个量,在平行射影下,如果不变,称这个性质为仿射不变性质,这个量称为仿射不变量。经过仿射对应它们也是不变的。同素性、结合性都是仿射不变性质(也就是说,仿射对应把共点的线变成共点的线,把共线的点变成共线的点)。平行四边形在仿射对应下的象还是平行四边形。

 2、SIFT特征

参考:https://blog.csdn.net/happyer88/article/details/45817305

尺寸空间:尺度空间中各尺度图像的模糊程度逐渐变大,能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。大尺度对应图像的概貌特征,小尺度对应图像的细节特征。所以对不同尺度的图像检测关键点,最终得到的sift特征点具有尺度不变性。

高斯卷积核是实现尺度变换的唯一线性核。

 

posted @ 2021-03-26 11:36  皮卡皮卡妞  阅读(227)  评论(0编辑  收藏  举报