一文读懂激活函数与损失函数的区别

激活函数（Activation Function）与损失函数（Loss Function）在神经网络中扮演着完全不同的角色，它们位于模型的不同位置，服务于不同的目的。

核心区别总结如下：

 

特性	激活函数 (Activation Function)	损失函数 (Loss Function)
位置	位于神经元内部/层与层之间	位于网络末端（输出层之后）
作用	引入非线性，传递信号，决定神经元是否“激活”	衡量预测值与真实值的差异（误差）
目的	使网络能够学习复杂模式	指导网络优化参数（权重和偏置）
例子	ReLU，Sigmoid，Tanh，Softmax	均方误差 (MSE)、交叉熵 (Cross-Entropy)

 

---

 

1. 激活函数（Activation Function）

激活函数是神经网络内部运作的关键组件，其主要目的是向网络引入非线性能力。

• 作用位置：位于每个神经元（节点）的输出端，或者说层与层之间。
• 核心功能：
  • 引入非线性：如果没有激活函数，无论堆叠多少层神经网络，整个网络最终都只是一个大型的线性回归模型，无法解决现实世界中复杂的非线性问题。激活函数使得网络能够学习和逼近任意复杂的函数关系。
  • 信号转换：它决定了当前神经元是否应该被“激活”，以及向下一层传递多强的信号。
• 例子：
  • ReLU (Rectified Linear Unit)：目前最常用，简单高效。
  • Sigmoid：常用于二元分类输出层，将输出压缩到 0 到 1 之间。
  • Tanh：将输出压缩到 -1 到 1 之间。

2. 损失函数（Loss Function / Cost Function）

损失函数是用于评估模型性能的指标，位于网络的末端。

• 作用位置：在模型的最终预测输出与实际的真实标签（Ground Truth）之间计算。
• 核心功能：
  • 量化误差：计算模型预测结果与真实结果之间的差异程度。损失值越低，模型性能越好。
  • 指导优化：损失函数是反向传播算法的起点。反向传播的目标就是计算损失函数对所有参数的梯度，并通过梯度下降法最小化这个损失值。
• 例子：
  • 均方误差 (MSE)：常用于回归任务，计算预测值与真实值差值的平方平均数。
  • 交叉熵 (Cross-Entropy)：常用于分类任务（二元分类或多元分类）。

 

总结

简单来说：

• 激活函数让神经网络变得“智能”，能够学习复杂的模式。
• 损失函数告诉神经网络它犯了多大的错误，并指引它如何改进。

参考资料： 

1.机器学习中常用激活函数和损失函数

2. 常用激活函数/损失函数/代价函数

3.深度学习：激活函数、损失函数、优化函数的区别