qizhou

摘要： ReLu $\max(0,z)$ 修正线性单元，是最常用的非线性映射函数。常在神经网络隐层中使用，因为它在反向传播中计算导数十分方便。导数为： $\left\{\begin{aligned}&1,z\ge0\\&0,z<0\end{aligned}\right.$ softplus $\log(1+ 阅读全文