随笔分类 - 机器学习
摘要：面对一个图像分类问题，可以有以下步骤： 1.建立一个简单的CNN模型，一方面能够快速地run一个模型，以了解这个任务的难度 卷积层1：卷积核大小3*3，卷积核移动步长1，卷积核个数64，池化大小2*2，池化步长2，池化类型为最大池化，激活函数ReLU。 卷积层2：卷积核大小3*3，卷积核移动步长1，
阅读全文
摘要：此篇文章是在原创教程这个栏目下，但实际上是一篇汇总整理文章。相信大家在做深度学习时对调参尤为无奈，经验不足乱调一通，或者参数太多无从下手，我也如此。希望通过此文汇总网上一些调参的经验方法，供大家参考。此文会对网上每一篇调参文章做简练的总结与提炼，以此为此文的组成单元，并附上原文的链接。如果遇到不对的
阅读全文
摘要：作者：Captain Jack链接：https://www.zhihu.com/question/25097993/answer/127472322来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 我现在的工作内容主要就是使用CNN做CV任务. 干调参这种活也有两年时间
阅读全文
摘要：之前看过TCN，稍微了解了一下语言模型，这篇论文也是对语言模型建模，但是由于对语言模型了解不深，一些常用数据处理方法，训练损失的计算包括残差都没有系统的看过，只是参考网上代码对论文做了粗浅的复现。开学以来通过看的几篇论文及复现基本掌握了tensorflow的基本使用，了解了“数据处理-模型构建-训练
阅读全文
摘要：版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/liuchonge/article/details/70238350 <!-- flowchart 箭头图标 勿删 --> 最近忙着实验室的
阅读全文
摘要：哈哈哈，又到了讲段子的时间 准备好了吗？ 今天要说的是CNN最后一层了，CNN入门就要讲完啦。。。。。 先来一段官方的语言介绍全连接层（Fully Connected Layer） 全连接层常简称为 FC，它是可能会出现在 CNN 中的、一个比较特殊的结构；从名字就可以大概猜想到、FC 应该和普通层
阅读全文
摘要：目录 使用非对称卷积分解大filters 重新设计pooling层 辅助构造器 使用标签平滑 参考资料 在《深度学习面试题20：GoogLeNet(Inception V1)》和《深度学习面试题26：GoogLeNet(Inception V2)》中对前两个Inception版本做了介绍，下面主要阐
阅读全文
摘要：目录 产生背景 工作原理 参考资料 产生背景 假设选用softmax交叉熵训练一个三分类模型，某样本经过网络最后一层的输出为向量x=(1.0, 5.0, 4.0)，对x进行softmax转换输出为： 假设该样本y=[0, 1, 0]，那损失loss: 按softmax交叉熵优化时，针对这个样本而言，
阅读全文
摘要：目录 产生背景 举例 参考资料 产生背景 之前在深度学习面试题16：小卷积核级联卷积VS大卷积核卷积中介绍过小卷积核的三个优势： ①整合了三个非线性激活层，代替单一非线性激活层，增加了判别能力。 ②减少了网络参数。 ③减少了计算量 在《Rethinking the Inception Archite
阅读全文
摘要：目录 第一层卷积换为分离卷积 一些层的卷积核的个数发生了变化 多个小卷积核代替大卷积核 一些最大值池化换为了平均值池化 完整代码 参考资料 第一层卷积换为分离卷积 net = slim.separable_conv2d( inputs, depth(64), [7, 7], depth_multip
阅读全文
摘要：目录 举例 单个张量与多个卷积核的分离卷积 参考资料 举例 分离卷积就是先在深度上分别卷积，然后再进行卷积，对应代码为： import tensorflow as tf # [batch, in_height, in_width, in_channels] input =tf.reshape(tf.
阅读全文
摘要：目录 举例 单个张量与多个卷积核在深度上分别卷积 参考资料 举例 如下张量x和卷积核K进行depthwise_conv2d卷积 结果为： depthwise_conv2d和conv2d的不同之处在于conv2d在每一深度上卷积，然后求和，depthwise_conv2d没有求和这一步，对应代码为：
阅读全文
摘要：目录 直接定义的缺点 简易定义的方式 参考资料 直接定义的缺点 在tensorflow中假设有一批输入为： 其定义如下： tf.constant([ [ [ [3, 1, -3], [1, -1, 7] ], [ [-2, 2, -5], [2, 7, 3] ] ], [ [ [-1, 3, 1],
阅读全文
摘要：目录 指数移动平均 BN在卷积网络中的使用 参考资料 假设已经训练好一个带有BN操作的卷积神经网络，但是在使用它预测时，往往每次只输入一个样本，那么经过该网络时，计算平均值和方差的意义就不大了，常采用的策略是计算训练阶段的平均值和方差的指数移动平均，然后在预测阶段使用它们作为BN操作时的平均值和方差
阅读全文
摘要：目录 BN的由来 BN的作用 BN的操作阶段 BN的操作流程 BN可以防止梯度消失吗 为什么归一化后还要放缩和平移 BN在GoogLeNet中的应用 参考资料 BN的由来 BN是由Google于2015年提出，论文是《Batch Normalization_ Accelerating Deep Ne
阅读全文
摘要：目录 简介 网络结构 对应代码 网络说明 参考资料 简介 2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而
阅读全文
摘要：目录 举例 在Inception module上的应用 参考资料 可以减少计算量，可以增加非线性判别能力 举例 假设有1个高为30、宽为40，深度为200的三维张量与55个高为5、宽为5、深度为200的卷积核same卷积，步长=1，则结果是高为30、宽为40、深度为55的三维张量，如图所示： 该卷积
阅读全文
摘要：目录 举例 参考资料 网中网结构通过多个分支的运算（卷积或池化），将分支上的运算结果在深度上连接 举例 一个3*3*2的张量， 与3个1*1*2的卷积核分别same卷积，步长=1， 与2个2*2*2的卷积核分别same卷积，步长=1， 与1个3*3*2的掩码最大值same池化，步长=1， 将得到的这
阅读全文
摘要：目录 VGGNet网络结构 论文中还讨论了其他结构 参考资料 2014年，牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络：VGGNet，并取得了ILSVRC2014比赛分类项目的第二名（第一名是GoogL
阅读全文
摘要：目录 感受野 多个小卷积核连续卷积和单个大卷积核卷积的作用相同 小卷积核的优势 参考资料 感受野 在卷积神经网络中，感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。再通俗点的解释是，特征图上的一个点对应输入
阅读全文
浙公网安备 33010602011771号