armcvai

摘要： 当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。 阅读全文

摘要： 训练深度神经网络的复杂性在于，因为前面的层的参数会发生变化导致每层输入的分布在训练过程中会发生变化。这又导致模型需要需要较低的学习率和非常谨慎的参数初始化策略，从而减慢了训练速度，并且具有饱和非线性的模型训练起来也非常困难。网络层输入数据分布发生变化的这种现象称为内部协变量转移，BN 就是来解决这个问题。 阅读全文