摘要： relu 函数在deep net 里更容易梯度下降，收敛到最优解的能力比sigmoid更强， 下面通过 一元函数逼近来简要说明relu 函数是如何进行逼近的 如上两图所示，deep net 中有一个输入节点，输入的样本就是 x 结果是 y=f(x)一类的非线性函数 现在因为每个x->f(x) 类似于 阅读全文