Maxout Networks学习笔记

Maxout Networks是Goodfellow等在ICML2013中提到的一种模型，作者将Maxout与Dropout相结合，在MNIST，CIFAR-10，CIFAR-100，SVHN数据集中取得了state of the art 的分类表现。

Maxout模型同多层感知器、深度卷积神经网络一样，是一种前馈架构。采用了一种新型的激活函数：the maxout unit。假设存在输入，则其隐层节点的输出表达式为：

其中，且学习参数，

若存在上图所示的Maxout网络结构，则d为输入节点维数，取值2，m为隐层节点维数，取值4，而k则表示Maxout针对k个“隐隐层”单元的值进行最大化操作，取值5。

定理1：Maxout可以拟合任意的凸函数，在“隐隐层”单元数任意多的前提下，只需要两个maxout节点就可以拟合任意的凸函数（相减）

相对来说，Maxout能够缓解梯度的消失，同时又规避了ReLu神经元死亡的缺点，但是，Maxout增加了参数和计算量。

 

 

参考资料：

1.Goodfellow I J, Wardefarley D, Mirza M, et al. Maxout Networks[J]. Computer Science, 2013:1319-1327.

2.http://www.cnblogs.com/tornadomeet/p/3428843.html

3.http://blog.csdn.net/hjimce/article/details/50414467