Noise label相关文章随记

Contrastive Learning Improves Model Robustness Under Label Noise 2021
观察：
监督的鲁棒学习方法在有噪音的时候下降明显
半监督的鲁棒学习能利用无标签的数据取得更好的效果
那么
监督的鲁棒学习方法的性能下降是由标签噪音引起的，还是不够好的表征引起的？

作者的答案是学到的表征不够好 只要我们借用对比学习的框架学一个比较好的表征 再套到传统的框架中进行微调 就能取得一个比较好的结果
所以我们用一个simclr来学表征 然后再fine-tune 就可以取得非常好的结果

Label Noise Resiliency with Self-supervised Representations nips2021

承接上文 既然我们可以用对比学习来做抗噪的特征提取器 那么 那种对比学习框架更好用呢 ？ 原因又是什么？ 和迁移学习相比 对比学习的优势在哪里？

本文经过对比 发现Simclr在noisy的情况下表现最好 Moco在没有noise的情况下表现也不差 但是为什么一加入noise就性能变差了？
经过 T-SNE 可视化之后发现 Simclr聚类聚的更加紧凑一些 所以更加紧凑的类会有更加鲁棒的表现 所以我们可以调InfoNCE 里面的T 让Moco也变得更加紧凑

最后 和迁移学习进行了对比 发现当没有噪音的时候 transfer-learnnig远高于对比学习 然后随着noise的加入 对比学习性能远好于迁移学习