摘要：转自：https://zhuanlan.zhihu.com/p/367111046 引言 目前Transformer应用到图像领域主要有两大挑战： 视觉实体变化大，在不同场景下视觉Transformer性能未必很好 图像分辨率高，像素点多，Transformer基于全局自注意力的计算导致计算量较大 阅读全文

摘要：目录 一、SPP的应用的背景 二、SPP结构分析 三、SPPF结构分析 四、YOLOv5中SPP/SPPF结构源码解析（内含注释分析） 一、SPP的应用的背景 在卷积神经网络中我们经常看到固定输入的设计，但是如果我们输入的不能是固定尺寸的该怎么办呢？ 通常来说，我们有以下几种方法： （1）对输入进行 阅读全文

摘要：目前网络的训练多为多卡训练，大型网络结构以及复杂任务会使得每张卡负责的batch-size小于等于1，若不进行同步BN，moving mean、moving variance参数会产生较大影响，造成BN层失效。 为简化inference过程，以及商业代码保密，通常进行BN融合操作。即把BN参数融合至 阅读全文

摘要：2023年12月11日17:04:36 测试的时候，是一个一个样本进行测试的，所以没办法求 均值和 方差，所以可以用训练数据的。因为每次做 Mini-Batch 训练时，都会有那个 Mini-Batch 里 m 个训练实例获得的均值和方差，现在要全局统计量，只要把每个Mini-Batch的均值和方差 阅读全文

摘要：BN层介绍 BN，全称Batch Normalization,是2015年提出的一种方法，在进行深度网络训练时，大都会采取这种算法。 原文链接：Batch Normalization: Accelerating Deep Network Training by Reducing Internal C 阅读全文