摘要：
Intro GOOGLE 21年的CVPR，提出了一种Teacher、Student都在训练中进行优化的基于伪标签的优化方法，最重要的是性能好，是目前参数量同等情况下在IMAGENET上精度最高的方法，TOP1 ACC高达90.2%。 文章的贡献主要有： 提出一种形式化的蒸馏方法，该方法利用伪标签同 阅读全文
摘要：
Temporal Shift Module for Efficient Video Understanding Intro 文章是提出了一种颇为有效的跨帧处理模块，能够提升2DCNN对于视频数据的特征提取能力，大大提升视频分类的准确率，同时，该模块还是0参数量的模块，即插即用。 Intution 本 阅读全文
摘要：
Understanding self-supervised and contrastive learning with "Bootstrap Your Own Latent" (BYOL) Intro 主要探讨一下BYOL的问题，其他略过，文章发现了BYOL的成功似乎还是没有逃过负样本的使用，提出B 阅读全文
摘要：
Bootstrap Your Own Latent A New Approach to Self-Supervised Learning Intro 文章提出一种不需要负样本来做自监督学习的方法，提出交替更新假说解释EMA方式更新target network防止collapse的原因，同时用梯度解释 阅读全文
摘要：
Face Recognition Papers Review Partial FC: Training 10 Million Identities on a Single Machine arxiv: https://arxiv.org/pdf/2010.05222v2.pdf 主要两个贡献，一是把 阅读全文
摘要：
Mutual Information Neural Estimation 互信息定义： \(I(X;Z) = \int_{X \times Z} log\frac{d\mathbb{P}(XZ)}{d\mathbb{P}(X) \otimes \mathbb{P}(Z)}d\mathbb{P}(XZ 阅读全文
摘要：
Quantizing Deep Convolutional Networks For Efficient Inference A Whitepaper Question：到底加速在哪？ Nvidia官网上的一张图 非对称量化 \(\begin{aligned}x_{i n t} &=\operato 阅读全文
摘要：
Adversarial Examples Improve Image Recognition 这篇文章提出了auxiliary BN来对生成对OOD样本做BN，干净对样本用原始的BN，相当于是两个BN处理。 为什么非要给对抗样本单独一个BN？这样做有什么好处？解决什么问题？ 实际提升有多少？ 具体是 阅读全文
摘要：
Semi-supervised Papers Review CatGAN arxiv：https://arxiv.org/pdf/1511.06390.pdf 主要贡献： 修改原始GAN的目标函数为 1）对于有标签样本，训练判别器时直接交叉熵 2）对于无标签样本和生成样本，训练判别器时最小化无标签样 阅读全文
摘要：
IMPROVING THE IMPROVED TRAINING OF WASSERSTEIN GANS: A CONSISTENCY TERM AND ITS DUAL EFFECT Intro 本文是对wgan的扩展，通过添加对真实样本周围的gp，使得网络处处gp不仅在真实样本和生成的样本之间能够 阅读全文