随笔分类 - 深度学习
摘要：深度学习优化算法最耳熟能详的就是GD（Gradient Descend）梯度下降，然后又有一个所谓的SGD（Stochastic Gradient Descend）随机梯度下降，其实还是梯度下降，只不过每次更新梯度不用整个训练集而是训练集中的随机样本。梯度下降的好处就是用到了当前迭代的一些性质，以至
阅读全文
摘要：GAN的定义 GAN是一个评估和学习生成模型的框架。生成模型的目标是学习到输入样本的分布，用来生成样本。GAN和传统的生成模型不同，使用两个内置模型以“对抗”的方式来使学习分布不断接近输入样本分布。两个模型一个是生成模型（Generative model），用来生成样本；另一个是判别模型（Discr
阅读全文
摘要：ReLu $\max(0,z)$ 修正线性单元，是最常用的非线性映射函数。常在神经网络隐层中使用，因为它在反向传播中计算导数十分方便。导数为： $\left\{\begin{aligned}&1,z\ge0\\&0,z<0\end{aligned}\right.$ softplus $\log(1+
阅读全文
摘要：变分自编码器（variational autoencoder, VAE）是一种生成模型，训练模型分为编码器和解码器两部分。 编码器将输入样本映射为某个低维分布，这个低维分布通常是不同维度之间相互独立的多元高斯分布，因此编码器的输出为这个高斯分布的均值与对数方差（因为方差总是大于0，为了将它映射到$(
阅读全文
摘要：反向传播算法基于多元函数链式法则，以下记录多元函数链式法则的证明与反向传播算法的实例推演。 多元复合函数的求导法则（多元链式法则） 定义 如果函数$u=\varphi(t)$及$v=\psi(t)$都在点$t$可导，函数$z = f(u,v)$在对应点$(u,v)$具有连续偏导数（重点），那么复合函
阅读全文
摘要：下面介绍的各种熵尽管都与数据分布的混乱度相关，但是建议把相对熵（KL散度）和交叉熵单独拿出来理解。交叉熵和相对熵是针对同一个随机变量，它们是机器学习里额外定义的用来评估两个分布差异的方式，无法用韦恩图进行观察；而后面的条件熵等则是针对不同的随机变量之间的关系（可以看完本文再回来看这句话）。 信息熵
阅读全文
摘要：PIP直接安装 首先看一下cmd能不能使用pip（一般安装了python都自带安装pip的），不能就把pip的位置加入环境变量电脑的Path里面。不过我加了环境变量还是没有用，所以只能进入pip的位置运行（我的原因找到了，因为环境变量的path里有单独的条目额外添加了分号“;”，把它去掉就可以了。不
阅读全文
摘要：回归是指拟合函数的模型、图像等。与分类不同，回归一般是在函数可微的情况下进行的。因为分类它就那么几类，如果把类别看做函数值的话，分类的函数值是离散的，而回归的函数值通常是连续且可微的。所以回归可以通过梯度下降法来进行。 比如对于函数$y =b + wx$，$x$是输入变量，$w$和$b$是参数。可以
阅读全文
摘要：正则化 虚拟对抗训练是一种正则化方法，正则化在深度学习中是防止过拟合的一种方法。通常训练样本是有限的，而对于深度学习来说，搭设的深度网络是可以最大限度地拟合训练样本的分布的，从而导致模型与训练样本分布过分接近，还把训练样本中的一些噪声也拟合进去了，甚至于最极端的，训练出来的模型只能判断训练样本，而测
阅读全文
浙公网安备 33010602011771号