Residual, BottleNeck, Inverted Residual, MBConv的解释和Pytorch实现

上篇ConvNext的文章有小伙伴问BottleNeck，Inverted Residual的区别，所以找了这篇文章，详细的解释一些用到的卷积块，当作趁热打铁吧

在介绍上面的这些概念之间，我们先创建一个通用的 conv-norm-act 层，这也是最基本的卷积块。

1. fromfunctoolsimportpartial
2. fromtorchimportnn
4. classConvNormAct(nn.Sequential):
5. def__init__(
6. self,
7. in_features: int,
8. out_features: int,
9. kernel_size: int,
10. norm: nn.Module = nn.BatchNorm2d,
11. act: nn.Module = nn.ReLU,
12. **kwargs
13. ):
15. super().__init__(
16. nn.Conv2d(
17. in_features,
18. out_features,
19. kernel_size=kernel_size,
20. padding=kernel_size//2,
21. ),
22. norm(out_features),
23. act(),
24. )
26. Conv1X1BnReLU = partial(ConvNormAct, kernel_size=1)
27. Conv3X3BnReLU = partial(ConvNormAct, kernel_size=3)
28. importtorch
30. x = torch.randn((1, 32, 56, 56))
32. Conv1X1BnReLU(32, 64)(x).shape
34. #torch.Size([1, 64, 56, 56])

残差连接

ResNet 中提出并使用了残差连接， 这个想法是将层的输入与层的输出相加，输出 = 层（输入）+ 输入。下图可以帮助您将其可视化。但是，它只使用了一个 + 运算符。残差操作提高了梯度在乘法器层上传播的能力，允许有效地训练超过一百层的网络。

在PyTorch中，我们可以轻松地创建一个ResidualAdd层

1. fromtorchimportnn
2. fromtorchimportTensor
4. classResidualAdd(nn.Module):
5. def__init__(self, block: nn.Module):
6. super().__init__()
7. self.block = block
9. defforward(self, x: Tensor) ->Tensor:
10. res = x
11. x = self.block(x)
12. x += res
13. returnx
16. ResidualAdd(
17. nn.Conv2d(32, 32, kernel_size=1)
18. )(x).shape

捷径 Shortcut

有时候残差没有相同的输出维度，所以无法将它们相加。所以就需要使用conv(带+的黑色箭头)来投影输入，以匹配输出的特性

完整文章

https://avoid.overfit.cn/post/af49b27f50bb416ca829b4987e902874