晓飞的算法工程笔记

摘要： 论文通过实验证明，ImageNet上的模型并不总能泛化到其他数据集中，甚至可能是相反的，而模型的深度和宽度也会影响迁移的效果。 如果需要参考，可选择类别数与当前任务相似的数据集上的模型性能。论文通过大量的实验来验证猜想，虽然没有研究出如通过数据集间的某些特性来直接判断模型迁移效果这样的成果，但读下来 阅读全文

摘要： 论文提出了在线重参数方法OREPA，在训练阶段就能将复杂的结构重参数为单卷积层，从而降低大量训练的耗时。为了实现这一目标，论文用线性缩放层代替了训练时的BN层，保持了优化方向的多样性和特征表达能力。从实验结果来看，OREPA在各种任务上的准确率和效率都很不错 来源：晓飞的算法工程笔记 公众号 论文: 阅读全文

摘要： 论文对长尾数据集中的复杂变换不变性进行了研究，发现不变性在很大程度上取决于类别的图片数量，实际上分类器并不能将从大类中学习到的不变性转移到小类中。为此，论文提出了GIT生成模型，从数据集中学习到类无关的复杂变换，从而在训练时对小类进行有效增强，整体效果不错 来源：晓飞的算法工程笔记 公众号 论文: 阅读全文

摘要： 论文提出能够适配硬件加速的动态网络DS-Net，通过提出的double-headed动态门控来实现动态路由。基于论文提出的高性能网络设计和IEB、SGS训练策略，仅用1/2-1/4的计算量就能达到静态SOTA网络性能，实际加速也有1.62倍 来源：晓飞的算法工程笔记 公众号 论文: Dynamic 阅读全文

摘要： 论文提出自适应的label assignment方法DW，打破了以往耦合加权的惯例。根据不同角度的一致性和非一致性指标，动态地为anchor分配独立的pos权重和neg权重，可以更全面地监督训练。此外，论文还提出了新的预测框精调操作，在回归特征图上直接精调预测框 来源：晓飞的算法工程笔记 公众号 论 阅读全文

摘要： 论文提出了更通用的特征相关噪声类别PMD，基于此类噪声构建了数据校准策略PLC来帮助模型更好地收敛，在生成数据集和真实数据集上的实验证明了其算法的有效性。论文提出的方案理论证明完备，应用起来十分简单，值得尝试 来源：晓飞的算法工程笔记 公众号 论文: Learning with Feature-De 阅读全文

摘要： 论文重新审视了ResNet的结构、训练方法以及缩放策略，提出了性能全面超越EfficientNet的ResNet-RS系列。从实验效果来看性能提升挺高的，值得参考 来源：晓飞的算法工程笔记 公众号 论文: Revisiting ResNets: Improved Training and Scali 阅读全文

摘要： 论文提出引入少数超大卷积核层来有效地扩大有效感受域，拉近了CNN网络与ViT网络之间的差距，特别是下游任务中的性能。整篇论文阐述十分详细，而且也优化了实际运行的表现，值得读一读、试一试 来源：晓飞的算法工程笔记 公众号 论文: Scaling Up Your Kernels to 31x31: Re 阅读全文

摘要： 论文提出新颖的轻量级通道注意力机制coordinate attention，能够同时考虑通道间关系以及长距离的位置信息。通过实验发现，coordinate attention可有效地提升模型的准确率，而且仅带来少量的计算消耗，十分不错 来源：晓飞的算法工程笔记 公众号 论文: Coordinate 阅读全文

摘要： 论文提出的GID框架能够自动选择可辨别目标用于知识蒸馏，而且综合了feature-based、relation-based和response-based知识，全方位蒸馏，适用于不同的检测框架中。从实验结果来看，效果十分不错，值得一看 来源：晓飞的算法工程笔记 公众号 论文: General Inst 阅读全文