摘要: Bootstrap Your Own Latent A New Approach to Self-Supervised Learning Intro 文章提出一种不需要负样本来做自监督学习的方法,提出交替更新假说解释EMA方式更新target network防止collapse的原因,同时用梯度解释 阅读全文
posted @ 2021-10-02 19:57 aoru45 阅读(542) 评论(0) 推荐(0) 编辑
摘要: Face Recognition Papers Review Partial FC: Training 10 Million Identities on a Single Machine arxiv: https://arxiv.org/pdf/2010.05222v2.pdf 主要两个贡献,一是把 阅读全文
posted @ 2021-10-02 19:51 aoru45 阅读(1199) 评论(0) 推荐(0) 编辑
摘要: Mutual Information Neural Estimation 互信息定义: \(I(X;Z) = \int_{X \times Z} log\frac{d\mathbb{P}(XZ)}{d\mathbb{P}(X) \otimes \mathbb{P}(Z)}d\mathbb{P}(XZ 阅读全文
posted @ 2021-10-02 19:41 aoru45 阅读(875) 评论(0) 推荐(0) 编辑
摘要: Quantizing Deep Convolutional Networks For Efficient Inference A Whitepaper Question:到底加速在哪? Nvidia官网上的一张图 非对称量化 \(\begin{aligned}x_{i n t} &=\operato 阅读全文
posted @ 2021-10-02 19:38 aoru45 阅读(407) 评论(0) 推荐(0) 编辑
摘要: Adversarial Examples Improve Image Recognition 这篇文章提出了auxiliary BN来对生成对OOD样本做BN,干净对样本用原始的BN,相当于是两个BN处理。 为什么非要给对抗样本单独一个BN?这样做有什么好处?解决什么问题? 实际提升有多少? 具体是 阅读全文
posted @ 2021-10-02 19:31 aoru45 阅读(226) 评论(0) 推荐(0) 编辑
摘要: Semi-supervised Papers Review CatGAN arxiv:https://arxiv.org/pdf/1511.06390.pdf 主要贡献: 修改原始GAN的目标函数为 1)对于有标签样本,训练判别器时直接交叉熵 2)对于无标签样本和生成样本,训练判别器时最小化无标签样 阅读全文
posted @ 2021-10-02 19:25 aoru45 阅读(758) 评论(0) 推荐(0) 编辑