摘要： （1）ReLU及其扩展 ReLU (Rectified Linear Unit)，整流线性单元： ReLU由于和线性单元非常类似，因此比较容易优化：一是其一阶导大且一致，二是其二阶导数几乎处处为0。但是ReLU也有一些问题，它不能通过基于梯度的方法学习那些使它们激活为0的样例。具体来说，若经过激活函 阅读全文

摘要： 一、神经网络基础 (1) Backpropagation (熟悉推导过程) 后向传播求导基本单元： 如果l+1为最后一层，则根据损失函数L先将该层的导数求出，根据链式法则： 其中表示i个输入单元的导数（残差）。 若L为均方误差，即 则可改为： 对于除以外的层:，，... 2层，同样根据链式法则(以层 阅读全文