Paper | Making a "Completely Blind" Image Quality Analyzer

Making a "Completely Blind" Image Quality Analyzer

质量评估大佬AC Bovik的作品,1200+引用。

目标问题:提出一些普适的、与主观质量接近的客观评估指标。普适意味着:无失真先验。

背景:现有的普适NR-IQA方法需要训练集(图像包含预期的失真,且需要人类评分数据)。这种方法泛化能力差,且要求高。

解决思路:从自然图像中获取一些统计数据(natural scene statistic, NSS),用来刻画图像质量。即不再需要人类评分数据用于训练。基于此的方法称为Natural Image Quality Evaluator (NIQE)。

效果:与SOTA的、基于训练的NR-IQA方法平起平坐。

意义:这种方法才是真正的blind。因为如果我们有合适的数据集,就说明我们对失真有了一定的预判,使得训练集和测试集的失真模式是一致的。虽然测试阶段是盲的,但训练显然非盲。

1. 技术细节

作者称之为no reference opinion-unaware distortion-unaware IQA model。一句话概括:将一系列quality-aware的特征,用一个多元高斯(multivariate Gaussian MVG)模型进行建模。那么,有损图像的质量就是其MVG 以及 自然图像的MVG 的距离。

1.1 NSS特征

第一步,图像归一化:减去局部均值,除以标准差+1:

计算

这一步即计算了本文选择的NSS!根据参考文献[10]【这个文献很重要】,无损自然图像的式(1)遵循高斯分布。如果是非自然图像(如计算机渲染图像)或受损图像,那么分布就不像高斯分布。

注意:该指标在BRISQUE[3]中已经被用过。但BRISQUE方法没有NIQE好?

1.2 选择锐利块来计算NSS

第二步,我们选择块,来计算以上的NSS。注意,我们只考虑那些显著性高的区域,一般是锐利的区域[12]。前面我们计算了每个像素点邻域的标准差,因此我们可以据此估算该区域的锐利程度:

区域锐利程度

如图即选出的区域示例:

锐利区域

然后,我们简单设一个阈值,该阈值为整个图像峰值锐利度的75%。超过阈值即锐利块,被选出计算NSS。

1.3 一张图像得到36个特征

第三步,我们用零均值的广义高斯分布(generalized Gaussian distribution, GGD)来建模自然图像的NSS:

GDD

GDD

和[3]一样,本文通过相邻像素NSS的相乘,来检测该NSS指标的异常。

建模时,我们考虑4个方向、2种块的尺度。每一个GGD模型有4个参数,一共能产生36个特征。产生方法要看[3]。

1.4 用MVG建模这36个特征

第四步,我们用MVG建模自然图像的这36个特征。

MVG拟合

1.5 NIQE指标

最后,我们计算目标MVG和自然MVG的距离,即NIQE得分:

NIQE

2. 实验

我们只看一个实验:我们需要多少自然图像进行训练,模型才会收敛?

实验

可见,当超过100张图像时,模型的稳定性就很好了。

posted @ 2019-11-23 23:14  RyanXing  阅读(1841)  评论(0编辑  收藏  举报