猪的饲养员

摘要： 为什么要有激活函数？ 作用是能够给神经网络加入一些非线性因素。若没有激活函数，那多个神经元，多层网络其实都能归结到一层来做，公式符号都能够直接化简乘$Wx$。加入了激活函数之后，深度神经网络具备了分层的非线性映射学习能力。 特性 可微性： 当优化方法是基于梯度的时候，这个性质是必须的。 单调性： 当 阅读全文

摘要： 上采样/下采样 缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。 放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示 阅读全文

摘要： 什么是偏差/方差？ 偏差(bias) 度量了学习算法的期望预测与真实结果的偏离程序, 即 刻画了学习算法本身的拟合能力 方差(varience) 度量了同样大小的训练集的变动所导致的学习性能的变化, 即 刻画了数据扰动所造成的影响 . 准 ：bias描述的是根据样本拟合出的模型的输出预测结果的期望与 阅读全文

摘要： 什么是梯度爆炸/梯度消失? 深度神经网络训练的时候，采用的是反向传播方式，该方式使用链式求导，计算每层梯度的时候会涉及一些连乘操作，因此如果网络过深。 那么如果连乘的因子大部分小于1，最后乘积的结果可能趋于0，也就是梯度消失，后面的网络层的参数不发生变化. 那么如果连乘的因子大部分大于1，最后乘积可 阅读全文