部分噪声标签文章简读
目录
1 PiCO: Contrastive Label Disambiguation for Partial Label Learning (ICLR 2022)
2 Clusterability as an Alternative to Anchor Points When Learning with Noisy Labels (ICML 2021)
3 Learning with Neighbor Consistency for Noisy Labels (arXiv 2022.02)
4 kNet: A Deep kNN Network To Handle Label Noise (arXiv 2021.07)
1 PiCO: Contrastive Label Disambiguation for Partial Label Learning (ICLR 2022)
动机
部分标签学习(Partial label learning, PLL)允许每个训练样本使用一个粗糙的候选集进行标记, 这在现实生活场景中很常见。然而，PLL的下游分类性能常常要比采用正确标注数据的监督任务性能差。粗糙的候选集中无法确定哪一个标签是正确的，即存在标签歧义的问题。与此同时，现有基于特征表示的学习方法有一个通用的假设：在特征空间中更靠近的数据点更有可能共享相同的ground-truth标签。
贡献
本文提出一种由基于对比学习模块和基于类原型标签歧义消除模块组成的框架PiCO, Partial label learning with COntrastive label disambiguation。具体地：
（1）基于对比学习的模块，通过从样本层面，扩大同类样本之间的相似性；
（2）基于类原型标签歧义消除模块，通过从类别层面，指导模型获取高质量的伪标签；
（3）作者们还从期望最大化算法的角度对提出的框架进行了理论解释。
我的想法
本文通过采用对比学习，促使同类间的个体样本相互靠近；同时，通过设计基于类原型的伪标签更新策略，依据类别原型信息来获取更加高质量的标签。整体的感觉，就是样本层面促使同类更加紧促，类别层面促使获取的干净标签信息更加准确。两者协同，促使模型在下游分类任务上表现的更好。本文提到的移动平均更新类原型的策略以及通过同类样本进行对比学习的思想可以考虑借鉴，并思考其与聚类之间的联系。
（本文评分：8，8，8. Oral）
2 Clusterability as an Alternative to Anchor Points When Learning with Noisy Labels (ICML 2021)
动机
标签噪声转移矩阵表征了一个训练实例被错误标注的概率，对于设计带噪声标签的学习模型至关重要。
现有的工作严重依赖于寻找“锚点”或它们的近似值，这些近似值被定义为几乎肯定属于某个特定类的实例。尽管如此，寻找定位点仍然是一项不平凡的任务，而且估计精度也常常受到可用定位点数量的限制。
虽然锚点方法观察到大量的成功，但它也有一些局限性:
1)当标签类数量较大时，准确拟合噪声分布具有挑战性;
2)锚点个数限制了估计精度;
3)它缺乏扩展到更复杂的噪音设置的灵活性。
贡献
提出了一种不求解锚点的方法来估计噪声转移矩阵T值。我们需要的唯一要求是可聚性，即训练示例和示例本身的两个最近邻表示属于同一个真实标签类。
具体地：
基于可聚性条件，作者们提出了一种新的通过利用邻域表示的噪声标签之间的一组高阶一致性信息来实现T估计。与使用锚点的方法相比，我们的估计器使用了更大的训练示例集，并受益于更好的样本复杂度。
我的想法
本文把聚类最近邻的两点具有标签一致性，用理论进行了证明和分析，并基于特征表示进行噪声转移矩阵的估计，该策略和理论分析，到时可以学习和应用。并且，本文还可以作为采用KNN进行标签纠正和样本选择的理论支撑文章。
3 Learning with Neighbor Consistency for Noisy Labels (arXiv 2022.02)
代码：暂无
动机
深度神经网络模型的训练依赖于大型标记数据集，然而标注的成本往往较高。
Neighbor Consistency Regularization (NCR)的出发点在于标注错误的标签在相邻的表示空间上面能够被削弱，其假设的前提是标签噪声足够弱或者不会高于正确标注的标签。此外，很好有相关工作考虑采用最近邻来生产伪标签。
与此同时，标签传播通常是在整个数据集层面进行，往往导致构建基于图的标签传播结构计算复杂度高
贡献
提出了一种针对噪声标签的深度学习网络模型，该模型利用了特征空间中训练示例之间的相似性，鼓励每个示例与它的最近邻之间进行相互靠近。
具体地：
① 引入了额外的一致性损失，鼓励每个示例与相邻示例有相似的预测。
② 邻居一致性损失惩罚每个例子的预测偏离其邻居的预测的加权组合，权重由它们在特征空间中的相似度决定。
我的想法
本文的前提假设：能够获得训练数据的适当特征表示，并在模型训练前 进行了5次epoch 预热设定。
本文采用最近邻的信息来对噪声标签的交叉熵进行平滑修正，没有进行构图的格式，并在实验中取得了很好的效果，关于本文的论述和实验思路，以及可视化方面的理解，届时可以参考学习一下。
另外，本文的正则化损失策略，届时可以实验复现看看。
4 kNet: A Deep kNN Network To Handle Label Noise (arXiv 2021.07)
代码：暂无
动机
深度神经网络的训练需要大量的标记数据。按比例收集这些数据不可避免地会引起标签噪声。因此，需要开发鲁棒的学习算法来去除噪声标签。
近年来，基于K近邻(kNN)的方法是一个可行的解决方案。但相关方法往往需要一个巨大的内存占用来存储所有的训练样本，并需要一个高级的数据结构来允许快速检索相关的例子，给定一个查询样本。
贡献
提出了一个神经网络，称为kNet，学习执行kNN。一旦训练完毕，我们就不再需要存储训练数据，并且可以把处理查询样例当作是一个简单的推理问题。
在使用kNet时，我们首先在数据集上训练一个初始网络，然后在初始网络的倒数第二层训练kNet。
5 Deep k-NN for Noisy Labels (ICML 2020)
代码：暂无
动机
现有的深度学习模型通常是在带有噪音标签的例子上进行训练的，这些噪音标签会影响性能，而且很难识别错误标注的样本。
贡献
提供了一项实证研究，表明在初始深度神经网络模型的logit层上采用简单的K近邻过滤方法可以去除错误标记的训练数据，并产生比许多最近提出的方法更准确的模型。
主要贡献有:
- 实验表明，在初步深度神经网络模型的中间层上执行KNN来过滤可疑标签的示例，其效果与处理噪声标签的最新方法一样好或更好，并且对k的选择具有鲁棒性。
- 理论上表明，只有当一个训练示例的标签是贝叶斯最优标签时，它才会被识别为干净。此外，理论表明即使最初的神经网络是用错误的标签训练，它仍然产生了对KNN过滤有用的中间表示。
除了较强的经验性能外，深度KNN滤波还有几个优点。首先，许多方法需要一套干净的样品，其标签是可信的。在这里，我们证明了基于KNN的方法是有效的，无论是存在还是不存在一组干净的样本。
