摘要：
目录 卷积层的dropout 全连接层的dropout Dropout的反向传播 Dropout的反向传播举例 参考资料 在训练过程中，Dropout会让输出中的每个值以概率keep_prob变为原来的1/keep_prob倍，以概率1-keep_prob变为0。也就是在每一轮的训练中让一些神经元随 阅读全文
posted @ 2019-08-20 10:01
知识天地
阅读(2586)
评论(0)
推荐(0)
摘要：
目录 网络结构 两大创新点 参考资料 第一个典型的CNN是LeNet5网络结构，但是第一个引起大家注意的网络却是AlexNet，Alex Krizhevsky其实是Hinton的学生，这个团队领导者是Hinton，于2012年发表论文。 AlexNet有60 million个参数和65000个 神经 阅读全文
posted @ 2019-08-20 10:00
知识天地
阅读(1699)
评论(0)
推荐(0)
摘要：
目录 神经网络的卷积、池化、拉伸 LeNet网络结构 LeNet在MNIST数据集上应用 参考资料 LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识别的视觉任务。自那时起，CNN的最基本的架构就定下来了：卷积层、池化层、全连接层。如今各大深度学习框架中所使用的LeNet 阅读全文
posted @ 2019-08-20 09:58
知识天地
阅读(1368)
评论(0)
推荐(0)
摘要：
目录 Same最大值池化 多深度的same池化 Same平均值池化 Valid池化 参考资料 池化(Pooling)操作与卷积类似，取输入张量的每个位置的矩形领域内的最大值或平均值作为该位置的输出。 池化操作分为same池化和valid池化，同时还可以设置移动的步长 Same最大值池化 举例：4行4 阅读全文
posted @ 2019-08-20 09:57
知识天地
阅读(1428)
评论(0)
推荐(0)
摘要：
目录 二维Full卷积 二维Same卷积 二维Valid卷积 三种卷积类型的关系 具备深度的二维卷积 具备深度的张量与多个卷积核的卷积 参考资料 二维卷积的原理和一维卷积类似，也有full卷积、same卷积和valid卷积。 举例：3*3的二维张量x和2*2的二维张量K进行卷积 二维Full卷积 F 阅读全文
posted @ 2019-08-20 09:56
知识天地
阅读(1275)
评论(0)
推荐(0)
摘要：
目录 一维Full卷积 一维Same卷积 一维Valid卷积 三种卷积类型的关系 具备深度的一维卷积 具备深度的张量与多个卷积核的卷积 参考资料 一维卷积通常有三种类型：full卷积、same卷积和valid卷积，下面以一个长度为5的一维张量I和长度为3的一维张量K（卷积核）为例，介绍这三种卷积的计 阅读全文
posted @ 2019-08-20 09:54
知识天地
阅读(1438)
评论(0)
推荐(0)
摘要：
目录 梯度消失 梯度爆炸 参考资料 以下图的全连接神经网络为例，来演示梯度爆炸和梯度消失： 梯度消失 在模型参数w都是(-1,1)之间的数的前提下，如果激活函数选择的是sigmod(x)，那么他的导函数σ’(x)的值域为(0,0.25]，即如下三项的范围都是(0,0.25] 那么w1的导数会有很多( 阅读全文
posted @ 2019-08-20 09:52
知识天地
阅读(969)
评论(0)
推荐(0)
摘要：
目录 sigmod交叉熵 Softmax转换 Softmax交叉熵 参考资料 sigmod交叉熵 Sigmod交叉熵实际就是我们所说的对数损失，它是针对二分类任务的损失函数，在神经网络中，一般输出层只有一个结点。 假设y为样本标签，_y为全连接网络的输出层的值，那么，这个对数损失定义为 PS：这个是 阅读全文
posted @ 2019-08-20 09:49
知识天地
阅读(1018)
评论(0)
推荐(0)
摘要：
目录 链式法则 逻辑回归的正、反向传播 逻辑回归的正、反向传播案例 全连接神经网络的正、反向传播 全连接神经网络的正、反向传播案例 参考资料 链式法则 类型一： 类型二： 类型三： 返回目录 逻辑回归的正、反向传播 逻辑回归可以看做最简单的神经网络，他只有一个神经元，损失函数选择的是对数损失，他的正 阅读全文
posted @ 2019-08-20 09:47
知识天地
阅读(886)
评论(0)
推荐(0)
摘要：
目录 为什么要用激活函数 sigmod tanh ReLU LeakyReLU ReLU6 参考资料 为什么要用激活函数 在神经网络中，如果不对上一层结点的输出做非线性转换的话，再深的网络也是线性模型，只能把输入线性组合再输出（如下图），不能学习到复杂的映射关系，因此需要使用激活函数这个非线性函数做 阅读全文
posted @ 2019-08-20 09:46
知识天地
阅读(1815)
评论(0)
推荐(0)
浙公网安备 33010602011771号