【论文笔记】：2020-CVPR-Shoestring Graph-Based Semi-Supervised Classification With Severely Limited Labeled Data

1.主要问题

   基于图的半监督分类，图嵌入+度量学习

2.研究现状

   在半监督学习（SSL）中，少量标记的样本与相对大量的未标记样本一起用于分类。在现有的半监督学习模型中，基于图的方法（例如图卷积网络和标签传播）已被证明是半监督分类的最有效方法之一，因为它们能够利用标记和未标记样本之间的连通性模式改善分类效果。考虑到它们的优点，在以前的少量照片分类工作中，通过考虑实例之间的关系并将数据表示为图形，可以从一些样本中获得快速的知识。然而，即使采用这种基于图的半监督学习，模型学习的性能也会迅速下降，每类的标记样本数量会减少。性能下降可以解释如下。通常，标签用作“锚”，并用于强制学习模型以一定的置信度拟合这些标记的样本，以便从它们中提取的信息可以可靠地传播到未标记的样本。但是，当标记的样本受到严格限制时，即使训练误差很小，也很有可能会显示出较大的测试误差，即过度拟合了这些有限的标记数据。以图卷积网络为例，在存在足够数量的标记样本的情况下，它们确实导致了具有两个卷积层的节点分类任务的最新准确性。然而，当仅给出几个标记的样本时，将无法有效地将标记传播到整个数据图。

3.创新点

   主要贡献在于，它是第一个将度量学习网络整合到基于图的半监督学习设置中的。它简单而有效，可用于提高典型的基于图的半监督学习方法的学习性能。从本质上讲，我们的框架是基于以下思想提出的：在低维语义空间中，存在一个嵌入，其中，每个类的点都围绕一个原型表示。更具体地说，Shoestring使用图嵌入网络联合学习每个实例到语义空间的非线性映射，并使用度量学习网络学习度量空间以表示标记和未标记样本之间的语义相似性。然后，根据学习的语义度量，通过找到最接近的类原型，对嵌入的未标记样本进行分类。

4.方法

图1：Shoestring框架的插图：作为示例，输入图包含三种类型的节点标签，它们具有三种不同的颜色，其中实心节点被标记，其余节点未被标记。 （1）图嵌入网络（典型的基于图的半监督学习模块，例如GCN），用于学习每个节点到嵌入向量的非线性映射； （2）度量学习网络，用于学习低维语义空间中每个类的每个节点表示和质心表示之间的成对相似性。为了优化Shoestring，使用了我们架构中的完整结构。

5.结论

   我们提出了一个称为shoestring的新框架，该框架是基于嵌入空间中的流形假设和聚类假设而设计的。对引文网络上的文档分类和少量学习的图像分类进行的实验均显示了使用SHOESTRING的强大优势，从而在整个案例中产生了最新的最新结果。决定我们提出的框架性能的关键因素是，借助度量学习网络，Shoestring可以将有限数量的标记样本的语义知识转移到大量未标记的样本中。因此，即使只有几个标记的样品，Shoestring的性能也能胜过所有基线方法。我们凭经验表明，在我们的框架中选择相似性指标至关重要。使具有不同相似性度量标准的不同数据集适应的一种策略是学习自适应相似性函数。我们将其留作未来的工作。