NiN(网络中的网络)学习小结

NiN串联多个由卷积层和“准全连接层”（1X1的网络）的小网络来构成一个深层网络

卷积层的输入输出是四维的（batch,channel,height,witdh），全连接层的IO都是二维的（batch,features）,所以此处的全连接层用1X1的卷积核代替。

每个小网络可以看作一个NIN块

一个NIN块用一个指定超参的卷积层带两个固定参数的卷积层（1X1卷积）构成

NIN网络前半部分由三对NIN块和池化层串联而成，最后再加一个特殊的NIN块（输出通道数等于标签类别数），一个全局平均池化层和一个Flatten层将其拍平

疑惑：

1.吴恩达的笔记中1X1卷积还要加上Relu计算，而李沐的书中NIN只是在堆叠卷积和池化层，NIN网络中到底有没有用非线性的Relu激活函数？

————————12.3自我解答：nin_block中有使用relu激活函数

2.1X1卷积到底是如何对通道进行压缩的？