范数

范数

\(L_2\) 范数的命名源于数学中的泛函分析和线性代数。在这些领域，范数是一种用于测量向量或函数大小的工具。\(L_2\) 范数是向量空间中的一种特殊的范数，源于 Lebesgue 积分理论中的 \(L_p\) 空间。在这些空间中，\(L_2\) 空间是当 \(p = 2\) 时的一个特例。

具体来说，\(L_p\) 空间定义为：

\[\| \mathbf{x} \|_p = \left( \sum_{i=1}^{n} |x_i|^p \right)^{1/p} \]

当 \(p = 2\) 时，这种范数就被称为 \(L_2\) 范数：

\[\| \mathbf{x} \|_2 = \sqrt{\sum_{i=1}^{n} x_i^2} \]

\(L_2\) 范数是最常用的范数之一，因为它具有许多优良的数学性质，比如平滑性和解析性，并且在许多应用中与欧几里得距离直接相关，因此在数值计算和优化中非常常见。

\(L_2\) 损失

\(L_2\) 损失（也称为均方误差，Mean Squared Error, MSE）是深度学习和机器学习中一种常用的损失函数，用于衡量模型预测值与实际值之间的差距。它通过计算预测值与真实值之间的差异的平方，并对所有样本进行平均来实现。\(L_2\) 损失的数学表达式如下：

\[L_2\_loss = \frac{1}{N} \| \mathbf{y} - \mathbf{\hat y} \|_2^2 = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2 \]

准确地说，\(L_2\) 损失并不包含 \(\frac{1}{N}\) 项

其中：

• \(N\) 是样本的数量。
• \(y_i\) 是第 \(i\) 个样本的真实值。
• \(\hat{y}_i\) 是模型预测的第 \(i\) 个样本的值。

\(L_2\) 损失的优点是它在预测值与实际值之间的差异较大时会给予较大的惩罚，这有助于模型更准确地拟合数据。不过，它对异常值比较敏感，因为平方操作会放大这些异常值的影响。

\(L_1\) 损失

\(L_1\) 损失（也称为绝对误差损失，Mean Absolute Error, MAE）是另一种常用的损失函数，用于衡量模型预测值与实际值之间的差距。与 \(L_2\) 损失不同，\(L_1\) 损失通过计算预测值与真实值之间差异的绝对值，并对所有样本进行平均来实现。\(L_1\) 损失的数学表达式如下：

\[L_1\_loss = \frac{1}{N} \| \mathbf{y} - \mathbf{\hat y} \|_1 = \frac{1}{N} \sum_{i=1}^{N} |y_i - \hat{y}_i| \]

其中：

• \(N\) 是样本的数量。
• \(y_i\) 是第 \(i\) 个样本的真实值。
• \(\hat{y}_i\) 是模型预测的第 \(i\) 个样本的值。

\(L_1\) 损失的优点是它对异常值不如 \(L_2\) 损失敏感，因为它不会对误差进行平方，因此对异常值的权重更低。这个特性使得 \(L_1\) 损失在某些对异常值敏感的场景下更加稳健。然而，由于绝对值函数在零点不光滑，\(L_1\) 损失在优化时可能会遇到一些挑战。