【CVPR2022】Multi-Scale High-Resolution Vision Transformer for Semantic Segmentation

在这里插入图片描述

【CVPR2022】Multi-Scale High-Resolution Vision Transformer for Semantic
Segmentation 代码:https://github.com/facebookresearch/HRViT

核心思想和主要方法

这个论文的核心思想就是将 HRNet 和 Transformer 相结合,同时,为了应用于密集预测任务,提出了避免计算复杂度过高的解决方案。

网络的整体架构如下图所示,可以看出整体结构和 HRNet 基本上是一样的,只是将其中的卷积层用 Transformer block 来代替。Transformer block 有 attention 和 FFN 两个基本结构,下面分别介绍两个部分作者的改进工作。
在这里插入图片描述

HRViTAttn

作者提出了 HRViTAttn ,结构如下图所示。Attention 复杂度最高的部分就是 Q 和 K 的矩阵相似度的计算,每个像素都参与计算相似度复杂度过高。因此,作者将从一开始就将通道分为两半,上面一半做行注意力,下面一半做列注意力。

作者主要进行了四处改进:
  • s行为一个token,每个 token 的特征为 \(s \times W\) 或者 \(s \times H\),同时,相似度矩阵就为 \(s \times s\) 了,相似度的计算就简化了。(这里的处理方法和 Restormer 类似,大家可以回顾);
  • 正常得到 K,Q,V时,需要三个 1x1 卷积,这里作者只使用了两个,K 和 V 是共享的,又进一步简化了计算;
  • V 额外使用了 Hardwith 激活函数和 DWConv 处理,作者解释是增加了归纳偏置。
  • 添加了一个 diversity-enhanced shortcut,这里是受了 NeurIPS2021 论文 Augmented Shortcuts for Vision Transformers 的启发,非常类似。

MixCFN

作者提出的 MixCFN 和大多数的 FFN 类似,都是先升维,后降维。不同的地方就是为了增强多尺度特征的提取,作者使用了 3X3 卷积和 5X5 卷积,如下图所示。

实验设计与分析

作者构建了网络的三个变体,具体如下表所示。
在这里插入图片描述
在Cityscapes 数据集上的分割结果如下表所示,与MiT和CSWin两个SoTA ViT Backbone相比,HRViT的mIoU平均提高了+2.16,参数减少了30.7%,计算量减少了22.3%。

其它实验可以参考作者论文,这里不过多介绍。

posted @ 2022-06-28 08:15  高峰OUC  阅读(194)  评论(0编辑  收藏  举报