神经网络训练（正则化）

对抗训练

为了探索网络对底层任务的理解层次，我们可以探索这个模型错误分类的例子
例如对于两个非常接近的输入点，网络会做出非常不同的预测
因此可以通过对抗训练：在对抗扰动的训练集样本上训练网络，来减少原有独立同分布的测试集的错误率

这些对抗样本的主要原因之一是过度线性。神经网络主要是基于线性块构建的。因此在一些实验中，它们实现的整体函数被证明是高度线性的。
但如果一个线性函数具有许多输入，那么它的值可以非常迅速地改变。

对抗训练通过鼓励网络在训练数据附近的局部区域恒定来限制这一高度敏感的局部线性行为。这可以被看作是一种明确地向监督神经网络引入局部恒定先验的方法。

对抗训练有助于体现积极正则化与大型函数族结合的力量。纯粹的线性模型， 如逻辑回归，由于它们被限制为线性而无法抵抗对抗样本。神经网络能够将函数从 接近线性转化为局部近似恒定，从而可以灵活地捕获到训练数据中的线性趋势同时 学习抵抗局部扰动。

在半监督学习中，通过由训练好的模型产生的虚拟对抗样本来鼓励分类器学习一个沿着未标签数据所在流形上任意微小变化都很鲁棒的函数。驱动这种方法的假设是，不同的类通常位于分离的流形上，并且小扰动不会使数据点从一个类的流形跳到另一个类的流形上。

流形假设下的学习

一个利用流形假设的早期尝试是切面距离，它是一种非参数的最近邻算法
（非参数方法是一类不依赖于固定参数形式或假设数据分布的具体形式的统计方法。与参数方法不同，非参数方法不需要预先假设数据的分布（如正态分布、线性关系等），而是直接从数据中学习模型的结构）
这个算法假设我们尝试 分类的样本和同一流形上的样本具有相同的类别

因此一种合理的度量是将样本点各自所在流形的距离作为样本点的最近邻距离，但这样的计算可能有些困难，于是一种廉价替代是用样本点的切平面来近似切平面

正切传播方法训练带有额外惩罚的神经网络分类器，使神经网络的每个输出\(f(x)\)对已知的变化因素是局部不变的。这些变化因素对应于沿着的相同样本聚集的流形的移动。这里实现局部不变性的方法是要求\(\nabla_x f(x)\)与已知流形的切向\(\mathbf{v}^{(i)}\)正交，或者等价地通过正则化惩罚\(\Omega\)使 (f) 在 \(\mathbf{x}\)的\(\mathbf{v}^{(i)}\)方向的导数较小：

\[\Omega(f) = \sum_i \left( (\nabla_x f(\mathbf{x}))^\top \mathbf{v}^{(i)} \right)^2 \]

模型在某方向上的导数接近0，意味着f(x)在该方向上有不变形，等价于取值相同

正切传播与数据集增强密切相关。在这两种情况下，该算法的用户通过指定一组应当不会改变网络输出的转换，将其先验知识编码至算法中。不同的是在数据集增 强的情况下，网络显式地训练正确分类这些施加大量变换后产生的不同输入。正切传播不需要显式访问一个新的输入点。取而代之，它解析地对模型正则化从而在指 定转换的方向抵抗扰动。

自编码器可以估算流形的切向量。流形正切分类器使用这种技术来避免用户指定切向量。因此根据流形正切分类器提出的算法相当简单：（1）使用自编码器通过无监督学习来学习流形的结构，以及（2）如正切传播一样使用这些切面正则化神经网络分类器。