摘要：
AlexeyAB大神继承了YOLOv3, 在其基础上进行持续开发，将其命名为YOLOv4。并且得到YOLOv3作者Joseph Redmon的承认，下面是Darknet原作者的在readme中更新的声明。 来看看YOLOv4和一些SOTA模型的对比，YOLOv4要比YOLOv3提高了近10个点。 1 阅读全文
摘要：
1. 环境搭建 将github库download下来。 git clone https://github.com/ultralytics/yolov3.git 建议在linux环境下使用anaconda进行搭建 conda create -n yolov3 python=3.7 安装需要的软件 pi 阅读全文
摘要：
Python工具 1. argparse import argparse parser = argparse.ArgumentParser(description="descriptions") parser.add_argument('--angle',type=int,default=0) pa 阅读全文
摘要：
深度学习环境搭建：Tensorflow1.4.0+Ubuntu16.04+Python3.5+Cuda8.0+Cudnn6.0 Reference https://zhuanlan.zhihu.com/p/31430631?utm_source=com.tencent.tim&utm_medium= 阅读全文
摘要：
论文 查询接受率的网站:https://www.openresearch.org/wiki/Main_Page LaTeX 图片转代码！！ 点这里mathF https://web.baimiaoapp.com/image-to-latex 目标检测标注原则 https://www.cnblogs. 阅读全文
摘要：
Spack 是一个高度可配置的软件包管理工具，旨在支持各种软件栈的安装和管理。尽管最初是为高性能计算设计的，但 Spack 的灵活性和扩展性使其也能在多种计算环境中派上用场，包括个人电脑和云基础设施。 ### 初始化和配置 #### 在 Ubuntu 下的安装和配置 1. **克隆 Spack 仓库 阅读全文
摘要：
【GiantPandaCV导语】上学期快结束的时候参加了华为和CCF组织的零售商品识别的比赛，队伍名称为GiantPandaCV队，比赛大约持续了两个月，期间从开始摸索MindSpore框架，配置环境，上手ModelArts花费了不少功夫。现在比赛终于告一段落，本文进行一下复盘。 背景 CCF大数据 阅读全文
摘要：
【GiantPandaCV导语】通过在Transformer基础上引入Deformable CNN中的可变性能力，在降低模型参数量的同时提升获取大感受野的能力，文内附代码解读。 引言 Transformer由于其更大的感受野能够让其拥有更强的模型表征能力，性能上超越了很多CNN的模型。 然而单纯增大 阅读全文
摘要：
【GiantPandaCV导语】CoAt=Convolution + Attention，paperwithcode榜单第一名，通过结合卷积与Transformer实现性能上的突破，方法部分设计非常规整，层层深入考虑模型的架构设计。 引言 Transformer模型的容量大，由于缺乏正确的归纳偏置， 阅读全文
摘要：
【GiantPandaCV导语】来自商汤和南洋理工的工作，也是使用卷积来增强模型提出low-level特征的能力，增强模型获取局部性的能力，核心贡献是LCA模块，可以用于捕获多层特征表示。 引言 针对先前Transformer架构需要大量额外数据或者额外的监督(Deit)，才能获得与卷积神经网络结构 阅读全文
摘要：
【GiantPandaCV导语】与之前BoTNet不同，CvT虽然题目中有卷积的字样，但是实际总体来说依然是以Transformer Block为主的，在Token的处理方面引入了卷积，从而为模型带来的局部性。最终CvT最高拿下了87.7%的Top1准确率。 引言 CvT架构的Motivation也 阅读全文
摘要：
【GiantPandaCV导语】基于Transformer的骨干网络，同时使用卷积与自注意力机制来保持全局性和局部性。模型在ResNet最后三个BottleNeck中使用了MHSA替换3x3卷积。属于早期的结合CNN+Transformer的工作。简单来讲Non-Local+Self Attenti 阅读全文
摘要：
A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP 【GiantPandaCV导语】ViT的兴起挑战了CNN的地位，随之而来的是MLP系列方法。三种架构各有特点，为了公平地比较几种架构，本文提 阅读全文
摘要：
【GiantPandaCV导语】收集自RepDistiller中的蒸馏方法，尽可能简单解释蒸馏用到的策略，并提供了实现源码。 1. KD: Knowledge Distillation 全称：Distilling the Knowledge in a Neural Network 链接：https: 阅读全文
摘要：
【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络，而NAS中天然的存在大量的网络，使用KD有助于提升超网整体性能。两者结合出现了许多工作，本文收集了部分代表性工作，并进行总结。 1. 引言 知识蒸馏可以看做教师网络通过提供soft label的方式将知识传递到学生网络中，可以 阅读全文
摘要：
【GiantPandaCV导语】Knowledge Distillation A Suvery的第二部分，上一篇介绍了知识蒸馏中知识的种类，这一篇介绍各个算法的蒸馏机制，根据教师网络是否和学生网络一起更新，可以分为离线蒸馏，在线蒸馏和自蒸馏。 感性上理解三种蒸馏方式： 离线蒸馏可以理解为知识渊博的老 阅读全文
摘要：
知识蒸馏综述: 知识的类型 【GiantPandCV引言】简单总结一篇综述《Knowledge Distillation A Survey》中的内容，提取关键部分以及感兴趣部分进行汇总。这篇是知识蒸馏综述的第一篇，主要内容为知识蒸馏中知识的分类，包括基于响应的知识、基于特征的知识和基于关系的知识。 阅读全文
摘要：
【GiantPandaCV引言】 知识回顾（KR）发现学生网络深层可以通过利用教师网络浅层特征进行学习，基于此提出了回顾机制，包括ABF和HCL两个模块，可以在很多分类任务上得到一致性的提升。 摘要 知识蒸馏通过将知识从教师网络传递到学生网络，但是之前的方法主要关注提出特征变换和实施相同层的特征。 阅读全文
摘要：
【GiantPandaCV导语】Deep Mutual Learning是Knowledge Distillation的外延，经过测试（代码来自Knowledge-Distillation-Zoo), Deep Mutual Learning性能确实超出了原始KD很多，所以本文分析这篇CVPR201 阅读全文
摘要：
【GiantPandaCV导语】本文介绍的如何更好地集成教师网络，从而更好地提取知识到学生网络，提升学生网络的学习能力和学习效率。从方法上来讲是模型集成+神经网络结构搜索+知识蒸馏的综合问题，在这里使用简单的NAS来降低教师网络与学生网络之间的差距。 背景介绍 解决的问题？ 希望从集成的教师网络中提 阅读全文
摘要：
【GiantPandaCV导语】调研分类方法的时候师姐推荐的一篇paper，其核心是训练的时候使用小分辨率，测试的时候使用大分辨率（训练分辨率的1.15倍），能够有效提升验证精度。 Motivation ImageNet数据集分类模型通常采用的数据增强方式会导致训练时和测试时的模型看到的目标尺寸出现 阅读全文
摘要：
【GiantPandaCV导语】相比于普通的分类网络，基于超网的NAS更加难以训练，会出现收敛效果较差甚至不收敛的情况。并且，基于超网的NAS还需要额外关注子网的排序一致性等问题，训练策略的选择也极为重要。AutoSlim, BigNAS等文章都花费了大量篇幅来讲解超网的训练技巧。本文是CVPR20 阅读全文
摘要：
【GiantPandaCV导语】本文介绍的是NAS中的一个benchmark-NASBench301, 由automl.org组织发表，其核心思想是针对表格型基准存在的不足提出使用代理模型拟合架构与对应准确率。 Paper: NAS-Bench-301 and The case for surrog 阅读全文
摘要：
png图片缺乏某些库，导致损坏，或者多余了一些数据会导致以下报错： libpng warning: iCCP: known incorrect sRGB profile libpng warning iccp extra compressed data 一些可能的解决方案： 已有方案 来自：http 阅读全文
摘要：
【GiantPandaCV导语】本文介绍的是韩松团队针对欠拟合问题提出的一种解决方案，在代价可接受范围内能够提升小模型的性能。 引入 专用于解决小型网络模型欠拟合 带来的问题，通过引入更大的模型包围住小模型从而得到额外的监督信息。欠拟合情况下使用正则化方法进行处理会导致性能更差。 NetAug适用场 阅读全文
摘要：
1. 概念解释 基础部件是session(会话) 每个会话可以创建多个window(窗口) 每个窗口可以划分多个pane(窗格) 2. 常用命令解释 tmux的退出 : ctrl + d 或者 exit命令 tmux前缀键：Ctrl+b+x - x=? 的时候是帮助信息（按q退出） - x=d 分离 阅读全文
摘要：
【GiantPandaCV导语】知识蒸馏结合NAS的一篇工作，提出了DNA，让教师网络来指导超网的学习。这个工作将知识蒸馏非常深入的融合在一起，有很强的创新性，已被CVPR20接收。 1. 背景介绍 知识蒸馏通常作为One-Shot NAS中的一个训练技巧，但是他起到非常大的作用。 简便起见，知识蒸 阅读全文
摘要：
题目：Training data-efficient image transformers & distillation through attention 【GiantPandaCV导语】Deit是一个全Transformer的架构，没有使用任何的卷及操作。其核心是将蒸馏方法引入VIT的训练，引入 阅读全文
摘要：
【GiantPandaCV导语】这篇是Slimmable Network三部曲之后的续作，提出了Single-Stage的超网训练方法，在更大的搜索空间中，提出了很多训练的Trick来提升训练效果以及稳定训练过程。 0. Info Title: BigNAS: Scaling Up Neural A 阅读全文
摘要：
【GiantPandaCV导读】learning rate对模型调优重要性不言而喻，想到超参数调优第一个可能想到的方法就是网格搜索Grid Search，但是这种方法需要大量的计算资源。之前使用fastai的时候发现其集成了一个功能叫lr_finder(), 可以快速找到合适的学习率，本文就主要分析 阅读全文
摘要：
【GiantPandaCV导语】这篇是MIT韩松实验室发布的文章，是第一个直接在ImageNet上进行搜索的NAS算法，并且提出了直接在目标硬件上对latency进行优化的方法。相比于同期算法NASNet、MnasNet等，搜索代价降低了200倍。 0. Info Title: ProxylessN 阅读全文
摘要：
ICLR 2021 Workshop 接收 Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure Zhijie Deng, Yucen Luo and Jun Zhu PDF AutoHAS: 阅读全文
摘要：
Neural Architecture Search with Random Labels Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search AttentiveNAS: I 阅读全文
摘要：
1. INFO Title: SMASH: One-Shot Model Architecture Search through HyperNetworks Author: Andrew Brock, Theodore Lim, & J.M. Ritchie Link: https://arxiv. 阅读全文
摘要：
Transforms从torch1.7开始新增了该特性，之前transform进行数据增强的方式是如下的，i.e. 使用compose的方式： default_configure = T.Compose([ T.RandomCrop(32, 4), T.RandomHorizontalFlip(), 阅读全文