【684】关于encoder-decoder网络 - 特征融合

深度特征融合---高低层（多尺度）特征融合

U-Net中的skip connection

在很多工作中，融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高（low-level information），包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多（说明：原始图像属于低层特征，可以看清具体的纹理信息，但是没有分类信息，干扰信息更多）。高层特征具有更强的语义信息（high-level information），但是分辨率很低，对细节的感知能力较差（说明：经过更多的卷积，可以有效归纳出语义信息，就是类似某个区域就是什么东西，并不需要显示具体的纹理信息）。如何将两者高效融合，取其长处，弃之糟泊，是改善分割模型的关键（这就是U-Net等模型的实现原理）。

而增加了skip connection结构的U-Net，能够使得网络在每一级的上采样过程中，将编码器对应位置的特征图在通道上进行融合。通过底层特征与高层特征的融合，网络能够保留更多高层特征图蕴含的高分辨率细节信息，从而提高了图像分割精度。

我们也在U-Net上面做了一些工作。我们在网络中引入邻层特征重建和跨层特征重建增强层与层之间特征信息传递的同时，进一步对高层卷积特征层中丰富的细节信息进行了利用，从而最大化地提高了网络各层中的特征信息的利用率。

跨层特征重建：跨层特征重建模块建立在编码器-解码器结构的基础上，旨在将语义信息更丰富的高层卷积特征层和低层卷积特征进行融合。因为在网络传播的过程中，随着网络越来越深，相应特征图的感受野会越来越大，但是保留的细节信息会越来越少，而对于语义分割任务，高层卷积所保留的丰富的细节信息是非常有利用价值的，基于编码器-解码器对称式的结构，利用Concat拼接层将编码器过程中下采样提取出来的特征图与解码器过程中上采样得到的新特征图一一对应进行通道维度拼接。凭借跨层特征重建模块，可以更大程度地保留高层卷积中的一些重要特征信息，有利于实现更精细的分割效果。

很多工作通过融合多层来提升检测和分割的性能，按照融合与预测的先后顺序，分类为早融合(Early fusion)和晚融合(Late fusion)。

早融合(Early fusion): 先融合多层的特征，然后在融合后的特征上训练预测器（只在完全融合之后，才统一进行检测）。这类方法也被称为skip connection，即采用concat、add操作。这一思路的代表是Inside-Outside Net(ION)和HyperNet。 两个经典的特征融合方法：
（1）concat：系列特征融合，直接将两个特征进行连接。两个输入特征x和y的维数若为p和q，输出特征z的维数为p+q；
（2）add：并行策略[36]，将这两个特征向量组合成复向量，对于输入特征x和y，z = x + iy，其中i是虚数单位。

晚融合(Late fusion)：通过结合不同层的检测结果改进检测性能（尚未完成最终的融合之前，在部分融合的层上就开始进行检测，会有多层的检测，最终将多个检测结果进行融合）。这一类研究思路的代表有两种：
（1）feature不融合，多尺度的feture分别进行预测，然后对预测结果进行综合，如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
（2）feature进行金字塔融合，融合后进行预测，如Feature Pyramid Network(FPN)等。