黎明程序员

摘要： 目录 指数移动平均 BN在卷积网络中的使用 参考资料 假设已经训练好一个带有BN操作的卷积神经网络，但是在使用它预测时，往往每次只输入一个样本，那么经过该网络时，计算平均值和方差的意义就不大了，常采用的策略是计算训练阶段的平均值和方差的指数移动平均，然后在预测阶段使用它们作为BN操作时的平均值和方差 阅读全文

摘要： 目录 BN的由来 BN的作用 BN的操作阶段 BN的操作流程 BN可以防止梯度消失吗 为什么归一化后还要放缩和平移 BN在GoogLeNet中的应用 参考资料 BN的由来 BN是由Google于2015年提出，论文是《Batch Normalization_ Accelerating Deep Ne 阅读全文

摘要： 目录 简介 网络结构 对应代码 网络说明 参考资料 简介 2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而 阅读全文

摘要： 目录 举例 在Inception module上的应用 参考资料 可以减少计算量，可以增加非线性判别能力 举例 假设有1个高为30、宽为40，深度为200的三维张量与55个高为5、宽为5、深度为200的卷积核same卷积，步长=1，则结果是高为30、宽为40、深度为55的三维张量，如图所示： 该卷积 阅读全文

摘要： 目录 举例 参考资料 网中网结构通过多个分支的运算（卷积或池化），将分支上的运算结果在深度上连接 举例 一个3*3*2的张量， 与3个1*1*2的卷积核分别same卷积，步长=1， 与2个2*2*2的卷积核分别same卷积，步长=1， 与1个3*3*2的掩码最大值same池化，步长=1， 将得到的这 阅读全文

摘要： 目录 VGGNet网络结构 论文中还讨论了其他结构 参考资料 2014年，牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络：VGGNet，并取得了ILSVRC2014比赛分类项目的第二名（第一名是GoogL 阅读全文

摘要： 目录 感受野 多个小卷积核连续卷积和单个大卷积核卷积的作用相同 小卷积核的优势 参考资料 感受野 在卷积神经网络中，感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。再通俗点的解释是，特征图上的一个点对应输入 阅读全文

摘要： 目录 举例 结论 参考资料 在一些书籍和博客中所讲的卷积（一个卷积核和输入的对应位置相乘，然后累加）不是真正意义上的卷积。根据离散卷积的定义，卷积核是需要旋转180的。 按照定义来说，一个输入和一个卷积核做卷积操作的流程是： ①卷积核旋转180 ②对应位置相乘，然后累加 举例 下面这个图是常见的卷积 阅读全文

摘要： 目录 卷积层的dropout 全连接层的dropout Dropout的反向传播 Dropout的反向传播举例 参考资料 在训练过程中，Dropout会让输出中的每个值以概率keep_prob变为原来的1/keep_prob倍，以概率1-keep_prob变为0。也就是在每一轮的训练中让一些神经元随 阅读全文

摘要： 目录 网络结构 两大创新点 参考资料 第一个典型的CNN是LeNet5网络结构，但是第一个引起大家注意的网络却是AlexNet，Alex Krizhevsky其实是Hinton的学生，这个团队领导者是Hinton，于2012年发表论文。 AlexNet有60 million个参数和65000个 神经 阅读全文