Oten

摘要： Batch归一化将的数据以mini-batch的形式逐一处理，但在测试时，可能需要对每个样本逐一处理，来看一下怎样调整的网络来做到这一点。 回想一下，在训练时，这些就是用来执行Batch归一化的等式。在一个mini-batch中，将mini-batch的\(z^{(i)}\)值求和，计算均值，所以这 阅读全文

摘要： Batch Norm 为什么奏效？ 为什么Batch归一化会起作用呢？ 一个原因是，已经看到如何归一化输入特征值\(x\)，使其均值为0，方差1，它又是怎样加速学习的，有一些从0到1而不是从1到1000的特征值，通过归一化所有的输入特征值\(x\)，以获得类似范围的值，可以加速学习。所以Batch归 阅读全文

摘要： 将 Batch Norm 拟合进神经网络 假设有一个这样的神经网络，之前说过，可以认为每个单元负责计算两件事。第一，它先计算z，然后应用其到激活函数中再计算a，所以可以认为，每个圆圈代表着两步的计算过程。同样的，对于下一层而言，那就是\(z_{1}^{[2]}\)和\(a_{1}^{[2]}\)等。 阅读全文

摘要： 归一化网络的激活函数 在深度学习兴起后，最重要的一个思想是它的一种算法，叫做Batch归一化，由Sergey loffe和Christian Szegedy两位研究者创造。Batch归一化会使的参数搜索问题变得很容易，使神经网络对超参数的选择更加稳定，超参数的范围会更加庞大，工作效果也很好，也会是的 阅读全文

摘要： 超参数调试的实践 如今的深度学习已经应用到许多不同的领域，某个应用领域的超参数设定，有可能通用于另一领域，不同的应用领域出现相互交融。比如，曾经看到过计算机视觉领域中涌现的巧妙方法，比如说Confonets或ResNets。它还成功应用于语音识别，还看到过最初起源于语音识别的想法成功应用于NLP等等 阅读全文

摘要： 为超参数选择合适的范围 假设要选取隐藏单元的数量\(n^{[l]}\)，假设，选取的取值范围是从50到100中某点，这种情况下，看到这条从50-100的数轴，可以随机在其取点，这是一个搜索特定超参数的很直观的方式。或者，如果要选取神经网络的层数，称之为字母\(L\)，也许会选择层数为2到4中的某个值 阅读全文

摘要： 调试处理 关于训练深度最难的事情之一是要处理的参数的数量，从学习速率\(a\)到Momentum（动量梯度下降法）的参数\(\beta\)。如果使用Momentum或Adam优化算法的参数，\(\beta_{1}\)，\({\beta}_{2}\)和\(\varepsilon\)，也许还得选择层数， 阅读全文

摘要： 局部最优的问题 在深度学习研究早期，人们总是担心优化算法会困在极差的局部最优，不过随着深度学习理论不断发展，对局部最优的理解也发生了改变。向展示一下现在怎么看待局部最优以及深度学习中的优化问题。 这是曾经人们在想到局部最优时脑海里会出现的图，也许想优化一些参数，把它们称之为\(W_{1}\)和\(W 阅读全文

摘要： 学习率衰减 加快学习算法的一个办法就是随时间慢慢减少学习率，将之称为学习率衰减，来看看如何做到，首先通过一个例子看看，为什么要计算学习率衰减。 假设要使用mini-batch梯度下降法，mini-batch数量不大，大概64或者128个样本，在迭代过程中会有噪音（蓝色线），下降朝向这里的最小值，但是 阅读全文

摘要： Adam 优化算法 在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种神经网络，时间久了，深度学习圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度下降法很好用，很难再想出更好的优化 阅读全文