深度学习论文阅读笔记(6)-NiN

Network In Network

卷积是卷积核和输入平面上的感受野recptive field 之间的向量内积，可以认为是一个广义的线性模型GLM。
使用RelU

\(f_{i,j,k}= max(w_k^Tx_{i,j},0)\)

通常认为隐藏特征是线性可分的，上面的函数抽象能力不是太高

增加抽象能力，就是增加泛化能力

\[f_{i,j,k_1}^1= max((w_{k_1}^1)^Tx_{i,j}+b_{k_1},0) \]

\[f_{i,j,k_n}^n= max(w_{k_n}^Tf_{i,j}^{n-1}+b_{k_n},0) \]

增加了抽象能力

GAP 全局平均池化
一个feature map 对应一个类别，

全连接层，参数太多。