绵满の博客

摘要： 激活函数 激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。 Sigmoid (1) 公式：\(S(x)=\frac{1}{1+e^{-x}}\) (2) 函数图： (3) 缺点： ① 输出值落在(0,1)之间，期望均值为0.5，不符合均值为0的理想状态 ② 该函数存在一正一负两块“死区” 阅读全文

摘要： 梯度下降法 BGD 批量梯度下降法，每进行一次参数更新，需要计算整个数据样本集，因此导致批量梯度下降法的速度会比较慢，尤其是数据集非常大的情况下，收敛速度就会非常慢，但是由于每次的下降方向为总体平均梯度，它得到的会是一个全局最优解 SGD 随机梯度下降法，不像 BGD 每一次参数更新，需要计算整个数 阅读全文