Optimal linear combination of neural networks for improving classification performance 概述

  1 摘要

集中于分类问题，本文提出了一种基于统计模式识别理论的线性组合多神经网络的新方法。在我们的方法中，首先选择几个神经网络，这些网络在每类上的误差最小。然后，它们被组合成一个发挥个体分类器力量的理想分类器。在此方法中，最小分类误差（MCE）标准被用来估计最优线性权值。在此陈述中，由于分类决策规则并入了代价函数，因此可以得到一个更适宜的针对分类目标的权值组合。利用人工及真实数据集所得的试验结果表明所提出的方法可构造一个更好的组合分类器，其针对测试数据在总体分类误差上胜过最优的单分类器。

2. 文中使用的方法

2.1   分类器的线性组合

       以网络输出的加权和形式进行组合，但权值与各网络中的输出单元k有关，这有别于权值仅与整体子网络相关的加权和形式。

2.2   个体网络选择

       采用原文文献[2]中的误差函数，并通过权值衰减正则化项来控制网络规模，即式（6）。采用式（7）来选择最优的子网（局部专家）。对于大类问题采用去除一个的交叉验证法来进行训练和测试。

2.3 最优权值确定

       采用MCE标准进行分类器组合，通过Robbins-Monro算法求最优组合权值。

3. 疑问

原文2.2节中采用正则化项（惩罚项）来控制网络模型复杂度的思想没有完全理解。