摘要：1.为什么要用Normalization 翻译过来就是归一化的意思，指将传统机器学习中的数据归一化方法应用到深度神经网络中，对神经网络中隐藏层的输入进行归一化，从而使网络更加容易训练。 因为， 它有更好的尺度不变性，即给定一个神经层L，它之前神经层L-1的参数变化会导致其输入的分布发生较大的改变，当 阅读全文

摘要：1.设计原理 采用的原理是梯度下降法，即最小化目标函数 J，最优化的求解过程，首先求解目标函数的梯度 ，然后将参数向负梯度方向更新，学习率表明梯度更新的步伐的大小，最优化的过程依赖的算法称为优化器，可以看出深度学习优化器的两个核心是梯度与学习率，前者决定参数更新的方向，后者决定参数的更新程度。 优化 阅读全文

摘要：1.首先为什么要有激活函数 若网络中不用激活函数，那么每一层的输出都是输入的线性组合。无论神经网络有多少层，网络的输出都是输入的线性组合，这种网络就是原始的感知机。若网络没有激活函数，则每层就相当于矩阵相乘，深层神经网络，无非是多矩阵相乘。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任 阅读全文