摘要：1. 什么是激活函数 在神经网络中，我们经常可以看到对于某一个隐藏层的节点，该节点的激活值计算一般分为两步： （1）输入该节点的值为 \(x_1,x_2\) 时，在进入这个隐藏节点后，会先进行一个线性变换，计算出值 \(z^{[1]} = w_1 x_1 + w_2 x_2 + b^{[1]} = 阅读全文

摘要：1. 什么是学习率(Learning rate)？ 学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。 这里以梯度下降为例，来观察一下不同的学习率对代价函数的收 阅读全文