弱监督学习文章略读记录
1.A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning (NIPS 2021)
链接：https://openreview.net/forum?id=P84bifNCpFQ (Spotlight)
代码：暂无
简介：对于图像查询，无监督对比学习将同一图像的作物标记为正片，将其他图像作物标记为负片。虽然直观，但这种本地标签分配策略不能揭示查询及其正负之间的潜在语义相似性，并且会降低性能，因为一些负负在语义上与查询相似，甚至与查询共享相同的语义类。在这项工作中，我们首先证明了在对比学习中，不准确的标签分配会严重影响其语义辨析的泛化，而准确的标签则有利于其泛化。在此理论的启发下，我们提出了一种新颖的自标记细化方法用于对比学习。它通过两个互补的模块提高标签质量:(i)自标记精炼厂(SLR)，以产生准确的标签(ii)动量MixUp来增强查询与正向查询之间的相似性。SLR使用查询的正数来估计查询与正数和负数之间的语义相似度，并将估计的相似度与对比学习中的普通标签赋值相结合，迭代地生成更准确、信息量更大的软标签。理论分析表明，该方法能够准确地恢复被标签损坏数据的真实语义标签，并对网络进行监督，实现分类任务的零预测误差。
2. Self-Paced Contrastive Learning for Semi-supervised Medical Image Segmentation with Meta-labels (NIPS 2021)
链接：https://openreview.net/forum?id=8Uui49rOfc
代码：暂无
简介：识别模型在未标记数据的大数据集上进行对比预训练，通常可以提高模型在下游任务(如图像分类)中的性能。然而，在医学成像等领域，收集未标记数据可能具有挑战性，而且费用昂贵。在这项工作中，我们考虑了医学图像分割的任务，并将使用元标签注释的对比学习适应于没有额外未标签数据可用的场景。在获取过程中，元标签通常是免费的，比如3D MRI扫描中二维切片的位置。我们使用这些元标签来预先训练图像编码器，以及在一个半监督学习步骤中利用一组减少的注释数据。提出了一种利用弱标注的自节奏学习策略，以进一步帮助学习过程，并从噪声中识别有用的标签。
3. How Does a Neural Network’s Architecture Impact Its Robustness to Noisy Labels? (NIPS 2021)
链接：https://openreview.net/forum?id=Ir-WwGboFN-
代码：暂无
简介：大型真实数据集中，噪声标签是不可避免的。在这项工作中，我们探索了先前工作的一个领域-网络的架构如何影响其对噪声标签的鲁棒性。我们提供了一个正式的框架，将网络的健壮性与其架构和目标/噪声函数之间的一致性连接起来。我们的框架通过表征的预测能力来衡量网络的鲁棒性，即使用一组干净的标签对学习到的表征进行训练的线性模型的测试性能。我们假设，如果一个网络的架构与目标函数比噪声更一致，那么它对噪声标签的鲁棒性就更强。为了支持我们的假设，我们提供了各种神经网络架构和不同领域的理论和经验证据。我们还发现，当网络与目标函数良好对齐时，它在表征中的预测能力可以在测试准确性方面提高最先进的(SOTA)噪声标签训练方法，甚至优于使用干净标签的复杂方法。
4. Learning with instance-dependent label noise: A sample sieve approach (ICLR, 2021)
链接：https://openreview.net/pdf?id=2VXyy9mIyU3
代码：https://github.com/UCSC-REAL/cores
简介：许多文献(除了最近的几个例外)关注的是标签噪声独立于特征的情况。实际上，注释错误往往与实例相关，并且通常取决于识别某一任务的困难程度。应用来自实例无关设置的现有结果将需要对噪声率进行大量的估计。因此，为基于实例的标签噪声的学习提供理论上严格的解决方案仍然是一个挑战。在本文，我们提出了一种置信规则样本选择方法，可以逐步筛选出含噪声标注的数据。其实现不需要指定噪声率，但是我们能够在过滤掉损坏的示例时提供有效的理论保证。这种高质量的样品筛允许我们在训练DNN解决方案时分别处理干净的样本和损坏的样本，这种分离在实例依赖的噪声设置中是有利的。
5. Learning with Feature-Dependent Label Noise: A Progressive Approach (ICLR, 2021)
链接：https://openreview.net/forum?id=ZPa2SyGcbwh
代码：https://github.com/pxiangwu/PLC
简介：大多数现有的处理噪声标签的方法分为两类:要么假设一个理想的独立于特征的噪声，要么在没有理论保证的情况下仍然是启发式的。在这篇论文中，我们提出了一种新的基于特征的标签噪声家族，它比常用的i.i.d.标签噪声更为普遍，并且包含了广泛的噪声模式。针对这种常见的噪声族，我们提出了一种渐进的标签校正算法，该算法迭代地校正标签并改进模型。我们提供的理论保证表明，对于各种(未知)噪声模式，使用该策略训练的分类器收敛到与贝叶斯分类器一致。
