小样本学习综述

摘要

少样本学习（FSL）在机器学习领域中具有重要意义和挑战性。能成功地从很少的样本进行学习和概括的能力是将人工智能和人类智能区分开的明显界限，因为人类可以仅通过一个或几个示例就可以轻松地建立对新颖性的认知，而机器学习算法通常需要数百或数千个监督样本以保证泛化能力。尽管可以追溯到2000年代初的悠久历史，并且近年来随着蓬勃发展的深度学习技术引起了广泛关注，但到目前为止，对于FSL的调查或评论很少。在此背景下，我们广泛审查了从2000年代到2019年的300多篇FSL论文，并对FSL进行了及时而全面的调查。在这项调查中，我们回顾了FSL的演变历史以及当前的进展，原则上将FSL方法分为基于生成模型和基于判别模型的种类，并特别强调基于元学习的FSL方法。我们还总结了FSL最近出现的几个扩展主题，并回顾了这些主题的最新进展。此外，我们重点介绍了FSL的重要应用，这些应用涵盖了计算机视觉，自然语言处理，音频和语音，强化学习和机器人，数据分析等方面的许多研究热点。为后续研究提供指导和见解。

1 Introduction

整个人的智能的令人印象深刻的特征是能够仅通过一个或几个示例就快速建立对新颖概念的认知的能力。许多认知和心理证据[1]，[2]，[3]表明，人类可以通过很少的图像来识别视觉对象[4]，甚至儿童也可以通过一次相遇而记住一个新单词[5]，[6] 。尽管究竟是什么支持人类从很少的样本中进行学习和泛化的能力仍然是一个深奥的谜，但一些神经生物学著作[7]，[8]，[9]认为，杰出的人类学习能力得益于前额叶皮层（PFC）和人脑的工作记忆，特别是PFC特定的神经生物学机制与以前存储在脑中的经验之间的相互作用。相比之下，大多数前沿的机器学习算法都需要大量数据，尤其是最广为人知的深度学习[10]，它已将人工智能推向了新的高潮。作为机器学习发展的重要里程碑，深度学习在视觉[11]，[12]，[13]，语言[14]，[15]，语音[16]，游戏[17]，人口统计学[18]，医学[19]，植物病理学[20]和动物学[21]广泛的研究领域中均取得了令人瞩目的成就。 通常，深度学习的成功可归因于三个关键因素：强大的计算资源（例如GPU），复杂的神经网络（例如CNN [11]，LSTM [22]）和大规模数据集（例如ImageNet [23]，Pascal-VOC [24]）。但是，由于某些因素（包括隐私，安全性或数据的高标记成本），许多现实的应用场景（例如在医学，军事和金融领域）不允许我们访问足够的带标记的训练样本。因此，它成为几乎所有机器学习研究人员迫切期待的蓝图，以使学习系统能够从很少的样本中高效地学习和推广。

从高级的角度来看，研究少量样本学习（FSL）的理论和实践意义主要来自三个方面。首先，FSL方法有望不依赖于大规模的训练样本，从而避免了某些特定应用中数据准备的高昂成本。其次，FSL可以缩小人类智能与人工智能之间的差距，这是发展通用AI的必经之路[25]。第三，FSL可以为一项新出现的任务实现低成本，快速的模型部署，而该任务仅临时可用几个样本，这有助于阐明任务中较早的潜在法律。

尽管有这些令人鼓舞的优点，但由于FSL固有的困难性，在过去的几十年中，其研究进展比大型样本学习要慢。显然，我们从优化角度说明了这一困难。考虑一个一般的机器学习问题，它由一个准备好的监督训练集 $D_{t} = {(x_{i},y_{i})}_{i=1}^{n}$ 来描述，中x∈X，y∈Y从联合分布$P_{X×Y}$中得出。学习算法的目标是产生一个映射函数 $f\in F:X\rightarrow F$ 使得期望误差 $\varepsilon _{ex} = E_{(x,y)\sim p_{x\times y}} L(f(x),y)$ 最小，其中$ L(f(x),y)$ 表示将预测f（x）与其监管目标y相比较的损失。实际上，联合分布$p_{x\times y}$是未知的，因此学习算法旨在最小化经验误差$\varepsilon _{ex} = E_{(x,y)\sim D_{t}} L(f(x),y)$  在这种情况下，一个典型的问题是，如果学习算法从中选择f的函数空间F太大，泛化误差 $\varepsilon =|\varepsilon _{ex}-\varepsilon _{em}| $ 会变大，从而容易产生过度拟合。我们可以从以下角度重新审视问题。

$ min_{f}\varepsilon _{em}, \, \, \, \,   s.t.\, \, \, \, \, \,    f(x_{i}) = y_{i},\forall (x_i,y_i)\epsilon D_t $ 如果Dt包含更多的监督样本，则对f的约束会更多，这意味着函数f的空间会更小，这将带来很好的概括。相反，稀疏的有监督训练集自然会导致综合性能不佳。从本质上讲，每个受监督样本形成的约束可以视为对函数f的正则化，它可以压缩函数f的冗余可选空间，从而减少其泛化误差。因此，可以得出结论，如果一种学习算法仅通过香草学习技术来处理一项FSL任务，而没有任何复杂的学习策略或特定的网络设计，则该学习算法将面临严重的过度拟合。

少样本学习（FSL），也可以称为小样本学习或一次样本学习，少拍或单镜头学习，其历史可以追溯到2000年代初。尽管有近20年的研究历史及其在理论和应用层面的重要性，但到目前为止，几乎没有相关的调查或评论。在本文中，我们广泛研究了从2000年代到2019年几乎所有与FSL相关的科学论文，以详尽地进行系统的FSL调查。我们必须强调，这里讨论的FSL与零镜头学习（ZSL）[26]正交，这是机器学习的另一个热门话题。 ZSL的设置需要特定于概念的辅助信息以支持跨概念的知识传递，与FSL的差异很大。据我们所知，到目前为止，只有两项与FSL相关的预印调查[27]，[28]。与之相比，本次调查的新颖性和贡献主要来自五个方面：

1）我们提供了更全面，更及时的综述，涵盖了从2000年代到2019年的300多篇与FSL相关的论文，涵盖了从最早的凝结模型[29]到最新的元学习方法的所有FSL方法。详尽的论述有助于掌握FSL的整个发展过程，并有助于建立FSL完整的知识体系。

2）我们提供了一种易于理解的层次分类法，根据其对FSL问题的建模原理，将现有FSL方法分为基于生成模型的方法和基于判别模型的方法。在每个类中，我们根据可归纳的属性进一步进行更详细的分类。 

3）我们重点关注当前主流的FSL方法，即基于元学习的FSL方法，并根据他们希望通过元学习策略学习的知识将它们分为五个主要类别，包括“学习到量测”，学习微调，学习参数化，学习调整和记忆。此外，本次调查揭示了各种基于元学习的FSL方法之间的潜在发展关系。 

4）我们总结了最近出现的香草FSL以外的几个扩展研究主题，并回顾了这些主题的最新进展。这些主题包括半监督FSL，非监督FSL，跨域FSL，广义FSL和多峰FSL，这些挑战颇具挑战性，同时又为解决许多现实的机器学习问题提供了重要的实践意义。这些扩展性话题以前的评论很少涉及。

5）我们广泛总结了现有FSL在各个领域的应用，包括计算机视觉，自然语言处理，音频和语音，强化学习和机器人，数据分析等，以及基于基准的当前FSL性能，旨在为后续提供手册研究，以前的评论没有对此进行研究。本文的其余部分安排如下。在第2节中，我们给出了一个概述，包括FSL的演进历史，我们将在以后使用的符号和定义以及现有FSL方法的拟议分类法。第3节和第4节分别详细讨论了基于生成模型的方法和基于判别模型的方法。然后，在第5节中总结了一些有关FSL的新兴扩展主题。在第6节中，我们广泛研究了FSL在各个领域的应用以及FSL的基准性能。在第8节中，我们通过对未来方向的讨论来结束本调查。