图像超分中常用的质量评价指标:SSIM, PSNR

转载自:什么是SSIM? - 知乎 (zhihu.com)

基于深度学习的图像超分辨率重建_哔哩哔哩_bilibili

(28条消息) 图像处理之图像质量评价指标PSNR(峰值信噪比)_Hard Coder的博客-CSDN博客_psnr

(一) 结构相似度SSIM

SIM 已成为计算机视觉中常见的损失函数。它用于训练自动驾驶汽车的单目深度模型、反转 GAN,以及将 NeRF 模型拟合到训练图像。基于 SSIM 的模型的爆炸式增长提出了一个基本问题:SSIM 到底是什么?

SSIM 测量两个图像之间的相似性。人类对像素的绝对亮度/颜色不敏感,但对边缘和纹理的位置非常敏感。 SSIM 通过主要关注边缘和纹理相似性来模仿人类感知。

这是一个例子。 这两个图像之间的对比度调整使它们在使用 L2 范数测量时有 20% 的差异。但在 SSIM 指标中,它们有 98.5% 相似(1.5% 不同)。

我们通过将两个图像分成小块来计算 SSIM。然后我们逐块比较图像。给定来自一个图像的patch “x”和来自另一张图像的相应patch “y”,我们计算每个补丁中像素强度的以下汇总统计信息。

我们现在使用下面的公式计算两个patch之间的亮度(luminance)相似性。如果patch的亮度差异很大,我们得到接近 0 的亮度分数,如果它们相似,我们得到接近 1 的亮度分数。该公式是尺度不变的;将图像乘以常数没有任何作用。

接下来我们计算对比(contrast)相似度得分。如果一个补丁比另一个“平坦”得多,则该分数为 0,如果两者具有相同的对比度级别,则该分数为 1。对比度分数比较图像块中“纹理”的数量。这个公式也是尺度不变的。

最后我们计算结构(structure)分数,这是两个patch中像素值之间的相关性。当两个patch包含具有相同位置和方向的边缘时,得分很高,但如果patch在边缘的位置上存在分歧,则得分很低。

总体 SSIM 分数是这三个分数的乘积。实现时添加一些小常数来防止被零除。该分数通常也是所有图像块的平均值。对于深度学习,SSIM 也在 RGB 通道上进行平均。

SSIM 是“结构相似性”(structural similarity)的缩写,由 Zhou、Bovik、Sheikh 和 Simoncelli 在 2004 年的一篇论文中介绍,被引用次数约为 38000。转自@tomgoldsteincs)

 

 这里α,β,r都是超参数,通常都取为1。

(二)峰值信噪比PSNR

其中L为图像的最大像素值,PSNR的单位为dB。若每个像素由8位二进制表示,则其值为2^8-1=255。但注意这是针对灰度图像的计算方法,若是彩色图像,通常可以由以下方法进行计算:

方法一:计算RGB图像三个通道每个通道的MSE值再求平均值,进而求PSNR。

方法二:直接使用matlab的内置函数psnr()(注意该函数将所有图像当作灰度图像处理)

方法三:将图像转为YCbCr格式,只计算Y分量即亮度分量的PSNR。

PSNR值越大,表示图像的质量越好,一般来说:

(1)高于40dB:说明图像质量极好(即非常接近原始图像)
(2)30—40dB:通常表示图像质量是好的(即失真可以察觉但可以接受)
(3)20—30dB:说明图像质量差
(4)低于20dB:图像质量不可接受

 

posted @ 2023-01-07 20:09  实数集  阅读(2974)  评论(0)    收藏  举报