图像质量评估论文 | Deep-IQA | IEEETIP2018

文章来自：同作者微信公众号【机器学习炼丹术】~

论文名称："Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment"
论文链接：https://arxiv.org/pdf/1612.01697.pdf

0 综述

这一篇文章和上一篇的rank-IQA感觉都是不错的处理NR-IQA任务的框架，让我们好好学一学这一篇文章中的精髓。

这一篇文章的related work列举了很多之前的NR-IQA的模型：

【18】
- DIIVINE：先识别图像失真的类型，然后选择对应类型的回归模型得到具体质量分数；
【20】
- BRISQUE：利用非对称广义高斯分布在空间域对图像进行建模，模型特征是空间邻域的差值；
【21】
- NIQE：利用多元高斯模型提取特征，然后利用无监督的方法把他们和质量分布结合起来；
【22】
- FRIQUEE：把人工提取的特征图输入到4层的深度置信网络中，输出特征向量，利用SVM分类；
【24】
- CORNIA：最先使用纯数据驱动解决NR-IQA问题的模型之一，使用k-mean聚类处理亮度和对比度被标准化的图片patch，然后从数据中抽取软编码距离来预测质量分数；
【28】
- BIECOM：第一步用标准话的图片patch经过CNN估计出一个本地质量分数（这个模型是使用现有的FR数据集预训练），然后在把分数的均值和方差作为特征回顾分数；

不说了，看了半天很多都是很老的人工特征的方法，不太行不太行。

1 细节

1.1 FR-IQA

论文中也是使用了和上一篇文章rank-IQA一样的模型，孪生网络saimese net，论文中先提出了FR-IQA的模型框架：

在这个框架中，图片是被patch称32x32的大小，然后feature extractor使用的是VGG19，包含5个maxpool层，也就是说，经过features extractor后，特征会变成（512，1，1）这样的shape。

对于FR-IQA问题，reference patch和distorted patch经过feature extractor得到两个512的向量，然后在fusion阶段使用concat拼接在一起，除了这两个，还把两个特征向量的差值也一同拼接进来，显式的把两个特征的区别也作为特征了，总之是这个样子的：\(concat(f_r,f_d,f_r-f_d)\)

在fusion features vector后面有两个部分，一个是回归，一个是weights；关于如何从很多的patches中得到整个图片的质量分数，作者给出了两个方法： 这个patch是从图像中无重叠的采样