A novel framework to assess all-round performances of spatiotemporal fusion models

A novel framework to assess all-round performances of spatiotemporal fusion models

abstract

问题:常用的评估指标并未全面涵盖时空融合图像质量的多个方面，包含冗余信息，并且在不同研究领域之间没有可比性。

贡献:

1. 根据评估标准，选择了 RMSE、AD、Edge 和局部二元模式 (LBP) 四个准确度指标作为最佳评估指标集。这些指标不仅量化了融合图像中的光谱和空间信息，而且极大地减轻了信息冗余和特征计算的简单性。
2. 此外，受泰勒图的启发，我们设计了全方位性能评估（APA）图，为时空融合方法的性能综合评估提供了一个可视化工具，支持不同时空融合方法的交叉比较。输入数据和地表特征。

introduction

通过统计时空融合文章，最常用的模型评价标准有:

然而，并没有充分的证据证明这些标准是全面和可靠的。

---

第一个问题

时空数据融合融合了两类卫星的图像：一种是频率高但空间分辨率较差的卫星图像（以下称为粗图像），另一种是空间分辨率较高但频率较低的图像（以下称为精细图像）。时空融合的目的是为输入的精细图像添加光谱值的时间变化，为输入的粗图像添加空间细节。

然而，大多数用于评估时空融合结果的常用指标都是基于像素级光谱值。因此，这些指标更有可能反映融合图像光谱值的准确性，而不是空间细节的准确性。

如下图所示,具有相同RMSE，或相同r值的两个融合图像，他们的质量可能具有很大差别。

此外，现有研究报告的一些指标彼此高度相关，这导致了冗余信息。

例如，现有研究报告的 RMSE 和 AAD 值高度相关（r = 0.94），r 和 SSIM 也是如此（r = 0.93）。最近的一项研究也证实，如果使用 r 来评估图像相似性，SSIM 是多余的

---

第二个问题

许多研究声称他们开发的方法比其他方法更好，因为在他们的测试站点中展示了改进的准确性指标。然而，不同研究报告的准确性指标没有可比性，即使它们使用相同的指标，因为融合图像的准确性不仅取决于融合方法本身，还取决于景观的复杂性和各种误差源包含在输入图像中。

1. 如果基准日期和预测日期之间的时间间隔较大，则时空孔融合变得更具挑战性。
2. 此外，人们普遍认为，许多时空融合方法在异质性较高的区域融合图像的准确性较低
3. 最后，最近的一项研究揭示了误差源，包括几何配准和辐射校准误差，显着影响了六种典型时空融合方法的性能。

方法

综合绩效评估方法的标准

具有良好性能的时空融合方法应该在光谱域和空间域都具有较高的精度，这就需要对时空融合方法进行全面而公平的精度评估，以符合以下标准：

1. 精度指标可以区分融合图像中光谱和空间误差的大小，并指示低估或高估。

2. 准确度指标不应彼此高度相关以避免冗余。

3. 精度指标的计算应该很简单，以便时空融合技术的最终用户可以轻松采用精度指标。

4. 精度指标应与由输入数据和陆地表面确定的底线精度一起呈现

候选指标

所有指标如下:

光谱精度指标

光谱精度指标:
（RMSE、AAD 和 AD）或基于相似性的度量（r、SSIM）

• 由于在对误差进行平均之前先对误差进行平方，因此 RMSE 对较大的误差给予相对较高的权重。因此，当大错误特别不受欢迎时，RMSE 可能比 AAD 更有用。
• 与 RMSE 和 AAD 以忽略低预测或高预测方向的方式总结光谱精度不同，AD 是融合图像和参考图像之间平均符号差异的简单度量，它强调图像预测的偏差等级。
• 相关系数r是两组数据之间线性相关性的度量，可以描述融合图像与参考图像之间的一般相似性。
• SSIM 可用于从结构角度区分融合图像和参考图像，如人类视觉感知系统。
• r 和 SSIM 反映了参考图像和融合图像之间光谱值的相似性，以及图像级别空间模式的相似性。

---

空间精度指标

空间精度可以通过计算融合图像和参考图像之间的空间特征（例如，对比度和纹理）的差异来量化。

具体来说，选择了 11 个空间特征，包括局部标准差（Local sd）、罗伯特边（Edge）、局部二值模式（LBP）和来自灰度共生矩阵（GLCM）的 8 个特征（即，对比度、标准差、相异性、相关性、角二阶矩 (ASM)、方差、均匀性、熵）。

使用移动窗口中中心像素与其相邻像素之间的关系为每个像素计算这些特征，因此我们可以分别获得融合图像和参考图像的每个特征图。

如下图所示：

准确度评估结果公平对比图

由于评估时空融合结果的精度指标值是由融合方法、输入图像和景观特征共同确定的，因此比较不同研究的精度指标值来判断不同时空融合方法的性能是不公平和无意义的。

解决此问题的一种可行方法是在具有底线值的图表中呈现评估时空数据融合全面性能的准确度指标的值。

具有底线值的图表是一个显示数据相对于固定值或目标的变化的图表。例如，折线图可以显示销售业绩随时间的变化，与目标值进行比较。

Taylor diagrams 基于相关系数（correlation coefficient）、中心均方根误差（centered root-mean-square）和标准差（standard Deviation）三个评价指标之间的余弦关系，将它们巧妙地整合在一张极坐标图上。

实验设计

模拟代表性融合图像

一般来说，现有的时空融合方法是从三个统一的框架发展而来的：基于时间预测、基于空间锐化和基于时空整合。

1.基于时间预测的模拟

• n 是表示系统误差大小的增益因子，ε 是高斯噪声项（平均值为 0，标准偏差为 0.05）。
• n 的范围为 0.1 到 1.9，间隔为 0.1。
• n<1的模拟图像表示低估了时间变化的融合图像，而 n>1 的模拟图像高估了时间变化

如下图所示:

2.基于空间锐化的模拟

n表示系统误差大小的增益因子，同时间预测。

如下图所示

3.基于时空整合的模拟

假设\(W_{1}=W_{2}=0.5\), n1和n2控制系统误差。

如下图所示:

选择一组最佳的准确性指标

1.选取最佳光谱精度指标

首先，我们需要找到能够区分融合图像和参考图像之间光谱差异的精度指标。
五个光谱精度指标是针对两个站点中案例 1 和案例 3 模拟的所有融合图像计算的，因为这两个案例都使用了专注于光谱差异的时间变化项。

然后，根据增益因子绘制这些指标的值，以根据这些条件选择最佳指标集:

• 指标与增益因子相关联
• 指标可以区分光谱值的低估和高估
• 如果选择了多个指标，它们之间的相关性应该很低

2.选取最佳空间精度指标

其次，我们需要找到可以衡量融合图像和参考图像之间空间差异的精度指标。

可以通过计算融合图像和参考图像之间的空间特征差异来量化空间差异

• 指标应与 case-2 和 case-3 模拟中引入的空间误差线性或接近线性相关并对它们敏感。
• 如果选择了多个指标，则指标之间的相关性应该很低
• 如果有多个指标对空间精度评价有效，应选择计算简单高效的指标

指标间关系

在本研究中，两个空间特征之间的“距离”通过相关系数（即 1-|r|）进行量化。然后，将笛卡尔空间中的这 11 个特征通过 k-means 算法以最佳簇数（即簇数可以获得较小的组内平方和）进行聚类。

可以从每个簇中选择一个有代表性的特征来避免冗余。

定义底线准确性指标

在显示多个时空融合模型精度评估的极坐标图中，定义了“一般”范围和“良好”范围，以评估融合图像是否为基本输入图像添加了有用的光谱和空间信息。
具有两倍真实时间变化和空间清晰度的融合图像被认为是可接受的结果，分别高估了时间变化信息（ATF）和空间信息（ASF）：

其中(ATF和ASF是可以根据情况自定义的).

\(F_{0}\)、\(C_{p}\)、ATF 和 ASF 的指标被计算为四个底线。有了“good”和“fair”的范围，我们就可以将融合图像的准确度与这四个底线进行比较，以检查数据融合是否有效地添加了有用的信息。
例如，如果选择两个指标分别量化光谱和空间精度，并且两个指标都具有 0 值作为最佳精度，则“一般”和“良好”范围可以呈现为图中所示的灰色和绿色区域。

“Fair”范围内的点表明融合方法（即图中的模型 1）可以在可接受的高估 ATF范围内向基础精细图像\(F_{0}\) 添加一些有用的时间变化信息，或者它可以向基础粗略图像\(C_{p}\)在可接受的高估ASF范围内。

“Fair”范围表明融合方法在其中一种光谱和空间预测中是有效的。 “Good”范围内的点表明（即图中的模型 2）该融合图像的光谱和空间精度优于所有输入图像\((F_{0}，C_{p})\)，并且误差不超过可接受的高估(ATF，ASF)。换句话说，“Good”范围表明融合方法在光谱和空间预测中同时有效

六种时空融合方法对比实验

参与实验的模型:UBDF,OPDL,STARFM,Fit-FC,FSDAF,LMGM
数据集: CIA,GWY

结果

选择测量光谱精度的指标

如下图所示，五个光谱精度指标显示了与增益因子的不同关系，增益因子控制添加到基础精细分辨率图像的光谱信息的大小。

1. 具体来说，AD 与增益因子呈线性正相关。
2. RMSE 和 AAD 均与增益因子 n 呈对称线性关系，断点为 n = 1。
3. r和SSIM与增益因子呈非线性关系，在case-3仿真中不能很好地区分融合图像的精度。

图 13 显示其中一些指标具有非常高的相关性，包括 RMSE 和 AAD 对 (r = 0.997)，以及 r 和 SSIM 对 (r = 0.965)。

最终选择 RMSE 和 AD 来评估融合图像的光谱精度，因为: (1) RMSE 与引入的光谱误差线性相关，并且比其他指标对误差更敏感. (2) AD 是五个指标中唯一可以指示光谱信息低估或高估的指标. (3) RMSE 和 AD 不是高度相关的指标。

选择用于测量空间精度的指标

站点 1 和站点 2 中参考图像的 11 个空间特征的 MDS 分析表明，两个站点中的这 11 个空间特征可以分为三个类:cluster-1 仅包含 LBP，cluster-2 仅包含 GLCM-correlation，cluster-3 包含其他九个特征

LBP更可能描述局部纹理，GLCM-correlation衡量一个像素与其相邻像素的相关程度，而其他九个特征主要描述边缘信息，因此我们可以从这九个特征中选择一个来表示边缘信息基于标准。

下图显示所有基于空间的度量都与案例 2 模拟的融合图像中引入的空间误差线性相关。

这些指标还可以通过在 case-3 模拟的融合图像中引入空间误差来捕获准确性的一般趋势，即使时间变化误差会在这些空间指标中带来一定的变化。
所有指标都与案例 2 和案例 3 刺激的增益因子高度线性相关（表 3），表明这些指标与空间误差的大小之间存在很强的线性关系。
此外，这些指标的范围从 − 1 到 1，符号表示对空间信息的低估或高估。

GLCM相关性,同质性和 ASM 的范围小于其他指标，因此这三个指标根据标准 #1 被排除在候选列表之外，尽管 GLCM 相关性表示基于 MDS 分析的 cluster-1 空间信息。

LBP表示基于MDS分析的cluster-2空间信息，它与引入的空间误差有很好的关系（r：0.935和0.866，用于case-2和case-3模拟）并且对空间误差相对敏感（范围：案例 2 和案例 3 模拟的 0.870 和 0.362）。因此，选择 LBP 作为评估融合图像关于纹理信息的空间精度的精度度量.

最后,选择Robert边缘来评估融合图像的边缘特征,因为它是比 Local_sd更直接的度量来描述图像中的边缘特征

最后，Edge、LBP 和两个选定的光谱精度指标 RMSE 和 AD 构成了综合评估融合图像精度的最佳集合。

设计的 APA 图中准确度指标的可视化

APA diagrams for displaying the accuracy of six spatiotemporal fusion methods for fusing images on 17 Oct 2001 (a), 25 Nov 2001 (b), and 05 Jan 2002 (c) in the CIA site：

APA diagrams for displaying the accuracy of six spatiotemporal fusion methods for fusing images on 02 May 2004 (a), 05 Jul 2004 (b), and 22 Aug 2004 (c) in the GWY site.

在这些图中，距原点的径向距离与 RMSE 值成正比。融合图像和参考图像之间的边缘值（可以根据用户的偏好用 LBP 代替）由范围从 − 1 到 1（180° 到 0°）的方位角位置给出。点的颜色表示 AD 的值。
图中的“Fair”范围定义为：[0，\(F_{0}\) 的 RMSE] 和 [\(C_{p}\) 的边缘，ASF 的边缘]，表明融合方法在光谱域和空间域之一中是有效的.
“Good”范围定义为：[0，minimum（\(F_{0}\) 和 \(C_{p}\) 的 RMSE）] 和 [maximum（\(F_{0}\) 和\(C_{p}\)的边缘），ASF 的边缘]，表明该融合方法在光谱域和空间域均有效。

讨论

拟议框架的优势

首先，它提出了一个框架来寻找可以区分光谱和空间信息性能并给出单独评估的精度指标。
其次，设计的 APA 图和底线范围提供了一个平台，比以往的研究更全面、更公平地可视化评估结果。