机器学习基础（四）：损失函数与优化目标

一、引入

在上一节中，我们已经学习了如何利用梯度下降来不断优化参数。

但一个更本质的问题是：

模型如何判断当前的预测是“好”还是“坏”？

要回答这个问题，我们需要引入一个核心概念——损失函数。

---

二、从误差到损失函数

在正式讨论损失函数之前，我们先来看“误差（Error）”：

\[\text{误差} = \text{预测值} - \text{真实值} \]

误差可以衡量单个样本的预测偏差，但当样本数量增多时，会出现一个问题：

正负误差可能相互抵消

例如：一个预测误差为 +1，另一个为 -1，总误差可能为 0，但显然模型并不完美。

因此，我们需要一种不会相互抵消的整体度量方式，这就是损失函数。

---

三、什么是损失函数

损失函数（Loss Function）用于衡量模型预测值与真实值之间的整体差距。

一般来说：

损失函数的值越小，模型预测效果越好

不同任务会选择不同的损失函数。

---

四、常见损失函数

1. 均方误差（MSE）

\[L = \frac{1}{n} \sum (y_i - \hat{y}_i)^2 \]

特点：

• 对较大误差惩罚更强
• 函数平滑，易于求导（适合梯度下降）
• 常用于回归问题

---

2. 平均绝对误差（MAE）

\[L = \frac{1}{n} \sum |y_i - \hat{y}_i| \]

特点：

• 对异常值更鲁棒
• 对误差的惩罚是线性的
• 但在 0 附近不可导（优化略复杂）

---

3. 交叉熵损失（Cross Entropy）

\[L = -\sum y \log \hat{y} \]

特点：

• 常用于分类问题
• 能有效衡量概率分布之间的差异
• 在深度学习中非常常见

---

五、从损失函数到优化目标

损失函数给出了一个“评价标准”，而机器学习的目标就是：

\[\min_{\theta} L(\theta) \]

也就是说，我们希望找到一组参数，使损失函数的值尽可能小。

---

六、损失函数与梯度下降

可以从几何角度来理解二者的关系：

• 损失函数：定义了一片“地形”（高维曲面）
• 参数：对应地形中的一个位置
• 梯度下降：沿着坡度下降，寻找最低点

因此：

损失函数决定“往哪里去”
梯度下降决定“怎么去”

---

七、总结

• 误差描述单个样本的偏差
• 损失函数衡量整体预测效果
• 优化目标是最小化损失函数
• 梯度下降用于实现这一优化过程

损失函数回答“什么是好”
梯度下降回答“如何变好”

二者共同构成了机器学习中最核心的优化机制。