摘要： （1）ReLU及其扩展 ReLU (Rectified Linear Unit)，整流线性单元： ReLU由于和线性单元非常类似，因此比较容易优化：一是其一阶导大且一致，二是其二阶导数几乎处处为0。但是ReLU也有一些问题，它不能通过基于梯度的方法学习那些使它们激活为0的样例。具体来说，若经过激活函 阅读全文