云山之巅

摘要： 注意： 1.大多情况下使用Relu激活函数这种激活函数计算快，且在梯度下降中不会卡在plateaus（平稳段），对于大的输入，也不会饱和。 2.logistic function和hyperbloic tangent funcation会饱和在1。 阅读全文