弥漫的幻雪 - 博客园

InceptionV3----Label Smoothing

摘要：标签平滑，作者说one-hot这种脉冲式的标签导致过拟合 new_labels = (1.0 - label_smoothing) * one_hot_labels + label_smoothing / num_classes Szegedy在网络实现的时候，令 label_smoothing = 阅读全文

posted @ 2018-05-05 14:39 弥漫的幻雪阅读(1924) 评论(0) 推荐(0)

InceptionV3----Grid Size Reduction

摘要：文中提出经验规则：在网络的前期，特征图不能一下子变得很小，叫“特征表达瓶颈”。 Grid网格，就是指特征图。本节讨论如何让特征图大小合理减小的问题。左边的方法缺点是特征表达瓶颈，右边的方法经过expand层，就是先将320个通道扩展为640个通道，但是计算量变大。于是作者拼接stride=2的卷阅读全文

posted @ 2018-05-05 14:34 弥漫的幻雪阅读(507) 评论(0) 推荐(0)

InceptionV3----连续小卷积层代替大卷积层

摘要：一、介绍一个5*5的卷积核可以被连续的2个3*3卷积核代替，每个卷积核都经过激活。 1个5*5的卷积核，也可以被2个连续的1*5和5*1卷积核代替。如图，中间的图用2个3*3的卷积核代替了5*5的卷积核。右边的图引入了1*n和n*1的卷积核二、作用 1.作者说，在网络的前期使用这种分解，效果并阅读全文

posted @ 2018-05-05 14:19 弥漫的幻雪阅读(1882) 评论(0) 推荐(0)

AlexNet----Local Response Normalization

摘要：一、介绍局部响应归一化LRN LRN用于卷积和池化之后的结果。由于使用多个卷积核，所以得到的特征图有多个“通道”。求和的方向是通道的方向二、作用如果一个点的值较大，就会导致它的平方较大。导致它附近的点进行LRN计算时的分母较大，从而结果较小。起到抑制附近神经元的作用阅读全文

posted @ 2018-05-05 13:23 弥漫的幻雪阅读(228) 评论(0) 推荐(0)

AlexNet----Dropout

摘要：一、介绍 AlexNet最后2个全连接层中使用了Dropout，因为全连接层容易过拟合，而卷积层不容易过拟合。 1.随机删除网络中的一些隐藏神经元，保持输入输出神经元不变； 2.将输入通过修改后的网络进行前向传播，然后将误差通过修改后的网络进行反向传播； 3.对于另外一批的训练样本，重复上述操作1 阅读全文

posted @ 2018-05-05 13:04 弥漫的幻雪阅读(777) 评论(0) 推荐(0)

AlexNet----ReLU

摘要：一、介绍 AlexNet中使用了ReLU代替sigmoid激活函数，发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid/tanh 快很多二、作用 1.sigmoid与tanh有饱和区，ReLU在x>0时导数一直是1，因为梯度的连乘表达式包括各层激活函数的导数，以及各层的权重，ReLU解阅读全文

posted @ 2018-05-05 12:45 弥漫的幻雪阅读(971) 评论(0) 推荐(0)

InceptionV2----Batch Normalization层

摘要：一、BN层的操作 1.BN层的操作位置：在非线性映射之前，目的是为了减少梯度消失和梯度爆炸。 1.对输入的x做归一化 2.增加2个参数，提高模型表达能力 3.理想情况下E和Var应该是针对整个数据集的，但显然这是不现实的。因此，作者做了简化，用一个Batch的均值和方差作为对整个数据集均值和方差的估阅读全文

posted @ 2018-05-05 10:42 弥漫的幻雪阅读(250) 评论(0) 推荐(0)

InceptionV1----辅助分类器

摘要：注意看黄色部分，在网络的中后段，直接加入了分类引入梯度。这样能避免离末尾softmax较远的层，难以训练的问题。模块化结构便于增添修改实际测试时，2个额外的softmax会被去掉阅读全文

posted @ 2018-05-05 10:28 弥漫的幻雪阅读(1660) 评论(0) 推荐(0)

InceptionV1----1*1卷积降维

摘要：使用5x5的卷积核仍然会带来巨大的计算量。为此，文章借鉴NIN，采用1x1卷积核来进行降维。例如：上一层的输出为100x100x128，经过具有256个输出的5x5卷积层之后(stride=1，pad=2)，输出数据为100x100x256。其中，卷积层的参数为128x5x5x256。假如上一层输阅读全文

posted @ 2018-05-05 10:23 弥漫的幻雪阅读(791) 评论(0) 推荐(0)

InceptionV1----naive Inception Module

摘要：一、结构二、作用 1.大量的文献表明可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能.????// to do 2.采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合 3.文章说很多地方都表明pooling挺有效，所以Inception里面也嵌入了阅读全文

posted @ 2018-05-05 10:21 弥漫的幻雪阅读(227) 评论(0) 推荐(0)

2018年5月5日