摘要：
深度学习中 Batch Normalization是什么 一、总结 一句话总结： batch normalization嘛，就是“批规范化”咯,即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1. 1、什么时候用ba 阅读全文
posted @ 2020-08-12 16:45
范仁义
阅读(368)
评论(0)
推荐(0)
摘要：
Batch Normalization的正确打开方式 一、总结 一句话总结： a)、计算出当前batch的每个channel的均值mean，计算出当前batch的每个channel的方差variance，令输入减去均值再除以标准差delta， b)、得到normalized输出x-hat，最后乘以s 阅读全文
posted @ 2020-08-12 16:39
范仁义
阅读(569)
评论(0)
推荐(0)
摘要：
对于梯度消失和梯度爆炸的理解 一、总结 一句话总结： 梯度消失或者梯度爆炸，简单一点来讲就是层数太多，链式求梯度的时候连乘太多 1、循环神经网络梯度消失或者梯度爆炸说明？ (1)、$$W ^ { t } = ( V \operatorname { diag } ( \lambda ) V ^ { - 阅读全文
posted @ 2020-08-12 16:30
范仁义
阅读(250)
评论(0)
推荐(0)
摘要：
梯度消失和梯度爆炸原因及其解决方案 一、总结 一句话总结： A)、当神经元层数变多时，链式法则求梯度会遇到很多个连乘，连乘多了，如果大了，梯度就爆炸了，如果小了，梯度就消失了 B)、我们知道Sigmoid函数有一个缺点：当x较大或较小时，导数接近0；并且Sigmoid函数导数的最大值是0.25 C) 阅读全文
posted @ 2020-08-12 16:17
范仁义
阅读(984)
评论(0)
推荐(0)
摘要：
TensorFlow2_200729系列 28、梯度消失和梯度爆炸是什么（杂） 一、总结 一句话总结： 对于多层的神经网络，当由后向前传播时，因为本来就有误差，传到某一层的时候，要么梯度不更新（梯度消失），要么梯度特别大（梯度爆炸），这两种情况都不能很好的更新网络 1、[784,w,h,b]中的b一 阅读全文
posted @ 2020-08-12 16:02
范仁义
阅读(167)
评论(0)
推荐(0)
摘要：
TensorFlow2_200729系列 27、gan对抗神经网络 一、总结 一句话总结： A、gan对抗神经网络主要也是用到的卷积神经网络，就是一个生成器（卷积神经网络做的生成器）和一个分类器（卷积神经网络做的分类器）， B、比如生成器是在卷积神经网络的基础上小小改动了一下，分类器自然也是，因为有 阅读全文
posted @ 2020-08-12 08:23
范仁义
阅读(348)
评论(0)
推荐(0)
摘要：
深度学习中Flatten层的作用 一、总结 一句话总结： Flatten层用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。Flatten不影响batch的大小。 # now：model.output_shape==(None,64,32,32) model.add(Flat 阅读全文
posted @ 2020-08-12 07:34
范仁义
阅读(1913)
评论(0)
推荐(0)
浙公网安备 33010602011771号