AshXir

摘要： 近年来，单图像超分辨率 （SISR） 取得了长足的进步，特别是通过卷积神经网络 （CNN） 和 Transformer 的结合，但巨大的模型复杂性对于高效图像超分辨率 （EISR） 来说并不可取，边缘设备也负担不起。因此，已经研究了许多用于 EISR 的轻量级方法，例如蒸馏和修剪。然而，研究更强大的注意力机制也是提高网络效率的一个有前途的解决方案。在本文中，我们提出了一种用于 EISR 的多级色散残差网络 （MDRN）。增强注意力蒸馏块 （EADB） 作为 MDRN 的基本块，分别包括所提出的多级色散空间注意力 （MDSA） 和增强的对比度感知通道注意力 （ECCA）。MDSA 引入了多尺度和方差信息，以获得更准确的空间注意力分布。ECCA 有效地结合了轻量级卷积层和残差连接，以提高通道注意力的效率。实验结果表明，所提出的方法是有效的，并且我们的 MDRN 比 SOTA 模型实现了更好的性能和复杂性平衡。此外，我们还在 NTIRE 2023 高效 SR 挑战赛的模型复杂性赛道上获得了第一名。该代码可在 https://github.com/bbbolt/MDRN 获取。 阅读全文

摘要： 近年来，高效轻量的图像超分辨率取得了显著进展，部分原因是设计了几种增强模型表示能力的强大轻量注意力机制。然而，大多数方法的注意力图都是直接从空间域获得的，由于空间卷积的局部性和有限的感受野，限制了它们的上界。在本文中，我们将焦点转移到频域，因为频域的自然全局属性可以解决这个问题。为了从频域角度探索注意力图，我们调查并纠正了现有频域特征处理方法中的一些误解，并提出了一种新的频域注意机制，称为频率增强像素注意(frequen cy-enhanced pixel attention, FPA)。此外，我们使用大核卷积和部分卷积来提高提取深度特征的能力，同时保持轻量级的设计。在这些改进的基础上，我们提出了一个模型尺寸更小、计算效率更高的大型核频率增强网络(LKFN)。它可以有效地捕获整幅图像中像素之间的长程依赖关系，并在现有的高效超分辨率方法中实现最先进的性能。 阅读全文

摘要： 高效轻量级的单图像超分辨率（SISR）近年来取得了令人瞩目的性能。一种有效的方法是使用大型核设计，这已被证明可以提高 SISR 模型的性能，同时降低其计算要求。然而，目前最先进的（SOTA）模型仍然面临计算成本高等问题。为了解决这些问题，本文提出了大仁蒸馏网络（LKDN）。我们的方法简化了模型结构，并引入了更高效的注意力模块，以降低计算成本，同时提高性能。具体来说，我们采用重新参数化技术来增强模型性能，而不增加额外成本。我们还向 SISR 引入了来自其他任务的新优化器，它提高了训练速度和性能。实验结果表明，LKDN的性能优于现有的轻量级SR方法，并实现了SOTA性能。 阅读全文

摘要： 我们的方法为**深度可分离卷积（depthwise separable convoluions DSC）**的应用提供了全面的理论推导、解释和论证，DSC已成为许多现代网络架构的基础。最终，我们发现**基于DSC的架构（如MobileNets）隐含地依赖于跨内核相关性，而我们的BSConv公式则基于内核相关性，因此可以更有效地分离常规卷积**。对大规模和细粒度分类数据集的大量实验表明，BSConvs 清晰且一致地改进了 MobileNets 和其他基于 DSC 的架构，而不会引入任何进一步的复杂性。对于细粒度数据集，我们实现了高达 13.7 个百分点的改进。此外，如果用作 ResNets 等标准架构的直接替代品，BSConv 变体在 ImageNet 上的表现也比原版同类产品高出 9.5 个百分点。代码和模型可在 https://github.com/zeiss-microscopy/BSConv 下使用。 阅读全文

摘要： 单图像超分辨率（SISR）的最新进展已经实现了非凡的性能，但计算成本太高，无法应用于边缘设备。为了缓解这个问题，已经提出了许多新颖有效的解决方案。**具有注意力机制的卷积神经网络（CNN）因其效率和有效性而受到越来越多的关注**。但是，卷积运算中仍然存在冗余。在本文中，我们提出了包含两种高效设计的**蓝图可分离残差网络（BSRN）**。**一种是蓝图可分离卷积 （BSConv） 的使用，它取代了冗余卷积操作。二是通过引入更有效的注意力模块来增强模型能力**。实验结果表明，BSRN在现有的高效SR方法中取得了最先进的性能。此外，我们型号 BSRN-S 的较小变体在 NTIRE 2022 Efficient SR Challenge 的模型复杂性赛道中获得了第一名。该代码可在 https://github.com/xiaom233/BSRN 上获得。 阅读全文

摘要： 在本文中，我们提出了一种**特征蒸馏连接（feature distillation connection FDC）**，它在功能上等同于通道分裂操作，同时更加轻量级和灵活。多亏了FDC，我们可以重新思考信息**多蒸馏网络（information multi-distillation network IMDN）**，并提出一个轻量级和准确的SISR模型，称为**残差特征蒸馏网络（residual feature distillation network RFDN）**。**RFDN 使用多个特征蒸馏连接来学习更具区分性的特征表示**。我们还提出了一个**浅残差块（shallow residual block SRB）**作为RFDN的主要构建块，以便网络可以从残差学习中获得最大收益，同时仍然足够轻量级。大量的实验结果表明，所提出的RFDN在性能和模型复杂度方面与现有方法相比取得了更好的权衡。此外，我们提出了增强型 RFDN （E-RFDN），并在 AIM 2020 高效超分辨率挑战赛中获得了第一名。代码将在 https://github.com/njulj/RFDN 提供。 阅读全文

摘要： 我们通过构建包含**蒸馏（distillation）**和**选择性融合部分（selective fusion parts）**的**级联信息多蒸馏块（information multi-distillation blocks IMDB）**提出了一种轻量级**信息多蒸馏网络（information multi-distillation network IMDN）**。具体而言，**蒸馏模块逐步提取层次特征**，**融合模块根据候选特征的重要性对其进行聚合**，并通过所提出的**对比感知通道注意力机制进行评估**。为了处理任何尺寸的真实图像，我们开发了一种**自适应裁剪策略 （adaptive cropping strategy ACS）**，以使用相同的训练有素的模型对块级图像补丁进行超分辨率。大量的实验表明，所提出的方法在视觉质量、内存占用和推理时间方面优于最先进的SR算法。代码可在 https://github.com/Zheng222/IMDN 获得。 阅读全文

摘要： 最近，深度卷积神经网络（CNN）在单图像超分辨率方面取得了显著进展。然而，随着网络深度和宽度的增加，基于CNN的超分辨率方法在实践中面临着计算复杂度和内存消耗的挑战。为了解决上述问题，我们提出了一种深度但紧凑的卷积网络，从原始的低分辨率图像直接重建高分辨率图像。一般而言，所提出的模型由**特征提取块、堆叠信息蒸馏块和重构块**三部分组成。**通过将增强装置与压缩装置组合成蒸馏块，可以有效地提取局部长程和短程特征**。具体来说，所提出的增强单元将两种不同类型的特征混合在一起，压缩单元为顺序块提取了更多有用的信息。此外，由于每层滤波器数量相对较少，并且使用了群卷积，所提出的网络具有执行速度快的优点。实验结果表明，所提方法优于现有方法，特别是在时间性能方面。代码可在 https://github.com/Zheng222/IDN-Caffe 上获得。 阅读全文

摘要： 作为一种成功的图像超分辨率 （SR） 深度模型，超分辨率卷积神经网络 （SRCNN） 在速度和恢复质量方面都表现出优于以往手工制作模型的性能。然而，高计算成本仍然阻碍了它需要实时性能 （24 fps） 的实际使用。在本文中，我们旨在加速当前的 SRCNN，并提出一种紧凑的沙漏形 CNN 结构，以实现更快、更好的 SR。我们主要从三个方面重新设计了 SRCNN 结构。首先，我们在网络的末端引入一个反卷积层，然后直接从原始的低分辨率图像（没有插值）学习到高分辨率图像的映射。其次，我们通过在映射之前缩小输入特征维度并在映射之后扩展来重新构建映射层。第三，我们采用更小的滤波器大小，但更多的映射层。所提出的模型实现了 40 倍以上的加速，甚至具有卓越的修复质量。此外，我们还介绍了可以在通用 CPU 上实现实时性能，同时仍保持良好性能的参数设置。还提出了相应的传输策略，用于跨不同放大因子进行快速训练和测试。 阅读全文

摘要： 最近，一些基于深度神经网络的模型在单图像超分辨率的重建精度和计算性能方面都取得了巨大成功。在这些方法中，在重建之前，使用单个滤波器（通常是双三次插值）将低分辨率 （LR） 输入图像放大到高分辨率 （HR） 空间。这意味着超分辨率 （SR）作在 HR 空间中执行。我们证明这是次优的，并增加了计算复杂性。在本文中，我们提出了第一个能够在单个 K2 GPU 上对 1080p 视频进行实时 SR 的卷积神经网络 （CNN）。为了实现这一目标，我们提出了一种新颖的 CNN 架构，其中特征图是在 LR 空间中提取的。此外，我们还引入了一个高效的亚像素卷积层，该层学习一系列放大滤波器，以将最终的 LR 特征图放大到 HR 输出中。通过这样做，我们有效地将 SR 管道中手工制作的双三次滤波器替换为针对每个特征图专门训练的更复杂的放大滤波器，同时还降低了整个 SR 作的计算复杂性。我们使用来自公开数据集的图像和视频来评估所提出的方法，并表明它的性能明显更好（+0.15dB 图像和 +0.39dB 视频），并且比以前基于 CNN 的方法快一个数量级。 阅读全文