摘要： 常见激活函数 Sigmoid sigmoid非线性函数的数学公式是，函数图像如上图的左边所示。在前一节中已经提到过，它输入实数值并将其“挤压”到0到1范围内。更具体地说，很大的负数变成0，很大的正数变成1。 缺点 Sigmoid饱和使梯度消失 神经元的激活在接近0或1处时会饱和，在这些地方梯度可能为 阅读全文