Network In Network(NIN)

Network In Network(NIN)

• 会议: ICLR 2014
• 贡献: 提出NIN 和 GAP(全局平均池化)

 

---

1 背景

• 传统CNN存在两个问题:
• 传统网络基于一个假设,latent concept是线性的.但这个假设很多情况不成立
• latent concept:潜在概念,可以理解为SVM中的理想分类器H(x)
• 全连接层是黑盒,难理解,容易过拟合

2 方法

2.1 Mlpconv

	传统线性网络	微网络(Mlpconv)
网络图
公式

• 设计通用(不假设先验分布,可以是非线性)的函数拟合器:多层感知机(Multilayer Perceptron)
• Mlp可以反向传播,与CNN相符
• 深度模型,和特征重用理念一致

2.2 全连接层(Fully Connected)与全局平均池化层(Global Average Pooling)

流程	将最后一层卷积得到的特征图 展平成向量 对这个向量做线性变换(Wx+b) 输入到softmax,得到对应每个类别score	每个特征图直接全局平均池化 送到softmax
GAP优点	参数太大 黑盒,解释性差 容易过拟合,用dropout解决	无参数 每个通道有内部意义 结构上做正则化,对输入空间变化鲁棒

2.3 整体网络结构(NIN)

• mlpconv层的堆叠
• NIN的层数 和 mlpconv的层数都可以根据实际任务调整, 这里都是3层
•  

3. 实验结果

3.1 NIN性能

CIFAR-10		比state-of-art 提升1%
CIFAR-100		超过1%
Street View House Numbers (SVHN)		2.35%,没到最高
MNIST		MNIST错误率已经很低,所以没有到最高,

• dropout能提升mlpconv的性能

3.2 GAP的正则化功能

3.3 NIN可视化

• 通过GAP将最后mlpconv特征图变成confidence map of categories
• 看是否完成这一任务: 激活最强的地方对应到Groud truth上是否是该目标的位置

　　

-----------------

笔记整理自公开博客，侵删