摘要：
200812_深度学习系列 2、线性单元和梯度下降 一、总结 一句话总结： 线性单元感知器，知识激活函数变了，其它代码都一样 from perceptron import Perceptron #定义激活函数f f = lambda x: x class LinearUnit(Perceptron) 阅读全文
posted @ 2020-08-12 22:16
范仁义
阅读(201)
评论(0)
推荐(0)
摘要：
手把手教你理解和实现生成式对抗神经网络（GAN） 一、总结 一句话总结： GAN的全称是 Generative Adversarial Networks，中文名称是生成对抗网络。原始的GAN是一种无监督学习方法，巧妙的利用“博弈”的思想来学习生成式模型。 1、gan的目标函数？ $$\min _ { 阅读全文
posted @ 2020-08-12 20:24
范仁义
阅读(3306)
评论(0)
推荐(0)
摘要：
生成对抗网络（GAN） 一、总结 一句话总结： GAN的全称是 Generative Adversarial Networks，中文名称是生成对抗网络。原始的GAN是一种无监督学习方法，巧妙的利用“博弈”的思想来学习生成式模型。 1、GAN的原理(从博弈方面)？ 在训练过程中，生成网路G的目标是尽量 阅读全文
posted @ 2020-08-12 20:06
范仁义
阅读(890)
评论(0)
推荐(0)
摘要：
深度学习之GAN对抗神经网络 一、总结 一句话总结： 判别模型：$$\log ( D _ { 1 } ( x ) ) + \log ( 1 - D _ { 2 } ( G ( z ) ) )$$ 生成模型：$$\log ( D _ { 2 } ( G ( z ) ) )$$ 二、深度学习之GAN对抗 阅读全文
posted @ 2020-08-12 19:57
范仁义
阅读(473)
评论(0)
推荐(0)
摘要：
GAN对抗神经网络（原理解析） 一、总结 一句话总结： (一)、GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是 (二)、**通过生成网络G（Generator）和判别网络D（Discriminator）不断博弈，进而使G学习到数据的分布**， (三)、如果用到图片生 阅读全文
posted @ 2020-08-12 17:52
范仁义
阅读(4167)
评论(0)
推荐(0)
摘要：
Wasserstein distance（EM距离） 一、总结 一句话总结： ①、Wasserstein 距离又叫Earth-Mover距离（EM距离），用于衡量两个分布之间的距离， ②、定义：$$W ( P _ { 1 } , P _ { 2 } ) = \inf _ { \gamma \sim 阅读全文
posted @ 2020-08-12 17:06
范仁义
阅读(4110)
评论(0)
推荐(0)
摘要：
浅谈KL散度 一、总结 一句话总结： (a)、相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 (b)、KL散度是两 阅读全文
posted @ 2020-08-12 16:55
范仁义
阅读(1070)
评论(0)
推荐(0)
摘要：
深度学习中 Batch Normalization是什么 一、总结 一句话总结： batch normalization嘛，就是“批规范化”咯,即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1. 1、什么时候用ba 阅读全文
posted @ 2020-08-12 16:45
范仁义
阅读(368)
评论(0)
推荐(0)
摘要：
Batch Normalization的正确打开方式 一、总结 一句话总结： a)、计算出当前batch的每个channel的均值mean，计算出当前batch的每个channel的方差variance，令输入减去均值再除以标准差delta， b)、得到normalized输出x-hat，最后乘以s 阅读全文
posted @ 2020-08-12 16:39
范仁义
阅读(569)
评论(0)
推荐(0)
摘要：
对于梯度消失和梯度爆炸的理解 一、总结 一句话总结： 梯度消失或者梯度爆炸，简单一点来讲就是层数太多，链式求梯度的时候连乘太多 1、循环神经网络梯度消失或者梯度爆炸说明？ (1)、$$W ^ { t } = ( V \operatorname { diag } ( \lambda ) V ^ { - 阅读全文
posted @ 2020-08-12 16:30
范仁义
阅读(250)
评论(0)
推荐(0)
摘要：
梯度消失和梯度爆炸原因及其解决方案 一、总结 一句话总结： A)、当神经元层数变多时，链式法则求梯度会遇到很多个连乘，连乘多了，如果大了，梯度就爆炸了，如果小了，梯度就消失了 B)、我们知道Sigmoid函数有一个缺点：当x较大或较小时，导数接近0；并且Sigmoid函数导数的最大值是0.25 C) 阅读全文
posted @ 2020-08-12 16:17
范仁义
阅读(984)
评论(0)
推荐(0)
摘要：
TensorFlow2_200729系列 28、梯度消失和梯度爆炸是什么（杂） 一、总结 一句话总结： 对于多层的神经网络，当由后向前传播时，因为本来就有误差，传到某一层的时候，要么梯度不更新（梯度消失），要么梯度特别大（梯度爆炸），这两种情况都不能很好的更新网络 1、[784,w,h,b]中的b一 阅读全文
posted @ 2020-08-12 16:02
范仁义
阅读(167)
评论(0)
推荐(0)
摘要：
TensorFlow2_200729系列 27、gan对抗神经网络 一、总结 一句话总结： A、gan对抗神经网络主要也是用到的卷积神经网络，就是一个生成器（卷积神经网络做的生成器）和一个分类器（卷积神经网络做的分类器）， B、比如生成器是在卷积神经网络的基础上小小改动了一下，分类器自然也是，因为有 阅读全文
posted @ 2020-08-12 08:23
范仁义
阅读(348)
评论(0)
推荐(0)
摘要：
深度学习中Flatten层的作用 一、总结 一句话总结： Flatten层用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。Flatten不影响batch的大小。 # now：model.output_shape==(None,64,32,32) model.add(Flat 阅读全文
posted @ 2020-08-12 07:34
范仁义
阅读(1913)
评论(0)
推荐(0)
浙公网安备 33010602011771号