QJuse

摘要： vgg在网络设计上有哪些独特的见解？ 使用更多的卷积层。vgg16整体架构同Alexnet相似，但是用堆叠的卷积块代替了原来单个的卷积。 使用小的卷积核。两个3x3的卷积核堆叠，其感受野相当于5x5，三个相当于7x7。在保持感受野范围一致的情况下，使用多个小卷积代替一个大卷积，一是降低了计算量，二是 阅读全文

摘要： 记录一下对Alexnet一些关键技术的理解。 问题1：网络设计上Alexnet有什么新的贡献？ 1）ReLu激活函数：反向传播时，经过ReLu的梯度要么是1要么是0，不会出现sigmoid函数在两端梯度变化很小的情况。直观的效果使网络更容易训练，训练速度更快。 2）多GPU的训练架构：在两块gpu上 阅读全文