【模式识别与机器学习（4）】主要算法与技术（中篇：概率统计与回归方法）之线性回归模型 - 实践

文章目录

• • 一、考试范围知识框架
  • 二、正文内容
  • • 1. 线性回归模型
    • • 什么是线性回归？
      • 基本模型
      • 基函数：让线性回归处理非线性关系
    • 2. 最小二乘法
    • • 如何找到最好的参数？
      • 最小二乘法
    • 3. 正则化途径
    • • 过拟合？就是什么
      • 正则化：防止过拟合
      • L2正则化（Ridge回归）
      • L1正则化（Lasso回归）
      • L1 vs L2 对比
      • 如何选择正则化系数λ？

一、考试范围知识框架

• 线性回归模型
• 最小二乘法
• 正则化方法（Lasso、Ridge）

二、正文内容

1. 线性回归模型

关键词：线性关系、回归系数、基函数、非线性变换

线性回归？就是什么

线性回归是一种预测连续数值的手段。轻松来说，就是找到一条直线（或超平面），使得这条直线能够最好地拟合数据点。

生活例子：根据房屋面积预测房价；根据学习时间预测考试成绩；根据广告投入预测销售额。

基本模型

给定有 $N$个样本的数据集$D=\{(y_i,x_{i1},...,x_{iD})\}$，其中：$y_i$是因变量（我们要预测的值，如房价、成绩），$x_{i1},...,x_{iD}$是自变量（特征，如房屋面积、学习时间）。

线性回归模型假设因变量$y_i$ 与自变量 $x_i$（由 $\{x_{i1},...,x_{iD}\}$ 构成的 $D$维向量）之间是线性关系：

$$y_i={\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+...+{\beta }_D{x}_{iD}=x_i^T\beta$$

其中：${\beta }_0$是截距（当所有特征为0时的$y$ 值），${\beta }_1,...,{\beta }_D$是回归系数（每个特征对$y$的影响程度），$\beta =[{\beta }_0,{\beta }_1,...,{\beta }_D{]}^T$是参数向量。

例子：预测房价

假设我们想根据房屋面积$x_1$ 和房间数 $x_2$ 预测房价 $y$：

$$y={\beta }_0+{\beta }_1\cdot x_1+{\beta }_2\cdot x_2$$

• ${\beta }_0=50$：基础房价（即使面积为0，也有基础成本）
• ${\beta }_1=0.5$：每增加1平方米，房价增加0.5万元
• ${\beta }_2=10$：每增加1个房间，房价增加10万元

若是一套房子面积100平方米，3个房间：
$$y=50+0.5\times 100+10\times 3=50+50+30=130\text{万元}$$

基函数：让线性回归处理非线性关系

问题线性的呢？比如面积越大，每平方米的单价可能下降（非线性关系）。就是：如果房价和面积的关系不

解决方案：使用基函数（basis function）对输入特征进行非线性变换，然后在这些变换后的特征上做线性回归。

一般化模型：

$$y_i=\varphi (x_i{)}^T\beta$$

其中 $\varphi (x_i)$是对输入特征$x_i$的变换函数（基函数）。

常见基函数：

1. 多项式基函数：${\varphi }_j(x)=x^j$

   • 许可拟合曲线关系
   • 例子：$\varphi (x)=[1,x,x^2,x^3{]}^T$ → $y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2+{\beta }_3{x}^3$

2. 高斯基函数：${\varphi }_j(x)=\exp \left\{-\frac{(x-{\mu }_j{)}^2}{2s^2}\right\}$

   • 在特定位置 ${\mu }_j$附近有较大值
   • 能够拟合局部特征

3. S形（sigmoid）基函数：${\varphi }_j(x)=\sigma \left(\frac{x-{\mu }_j}{s}\right)$，其中 $\sigma (a)=\frac{1}{1+e^{-a}}$

   • S形曲线，可以拟合平滑的过渡

例子：用多项式拟合非线性关系

曲线的：就是假设房价和面积的关系

• 原始特征：$x$（面积）
• 基函数：$\varphi (x)=[1,x,x^2{]}^T$
• 模型：$y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2$

这样虽然对原始特征$x$是非线性的，但对变换后的特征$\varphi (x)$仍然是线性的，所以仍然叫"线性回归"（对参数$\beta$是线性的）。

2. 最小二乘法

关键词：误差平方和、偏导数、参数估计、解析解

如何找到最好的参数？

找到参数就是线性回归的目标$\beta$，使得模型预测值${\hat{y}}_i$ 和真实值 $y_i$尽可能接近。

误差定义：对于第 $i$个样本，预测误差为：

$$e_i=y_i-f(x_i,\beta )=y_i-{\hat{y}}_i$$

最小二乘法

最小二乘法（Least Square Method）的核心思想：使得所有样本的误差平方和最小。

目标函数：

$$S=\sum _{i=1}^N{e}_i^2=\sum _{i=1}^N(y_i-f(x_i,\beta ){)}^2$$

**为什么用平方？**避免正负误差相互抵消；对大误差惩罚更重（平方放大）；数学上便于求导（平方函数可导）。

求解方法：

通过求偏导数并令其等于0：

$$\frac{\partial S}{\partial {\beta }_d}=0,d=0,1,\dots ,D$$

能够得到参数的解析解（闭式解，不需要迭代）。

线性回归的解析解：

对于线性回归模型$f(x_i,\beta )=\varphi (x_i{)}^T\beta$，参数估计为：

$$\hat{\beta }=({\Phi }^T\Phi {)}^{-1}{\Phi }^{T}y$$

其中：$\Phi$是基函数矩阵（每行是一个样本的基函数值），$y$是目标值向量。

例子：便捷线性回归

假设只有一个特征$x$，模型为 $y={\beta }_0+{\beta }_{1}x$：

给定数据点：$(1,2),(2,3),(3,5)$

通过通过最小二乘法能够计算出：${\beta }_0=0.5$，${\beta }_1=1.5$。所以拟合的直线是：$y=0.5+1.5x$

优点：有解析解，计算快速；不需要迭代，一步到位；理论保证全局最优。

缺点：需要计算矩阵的逆，当特征很多时计算量大；对异常值敏感（因为用平方误差）。

3. 正则化方式

关键词：过拟合、L1正则化、L2正则化、Lasso、Ridge

什么是过拟合？

**过拟合（Overfitting）**是指模型在训练数据上表现很好，但在新数据上表现很差的现象。

形象比喻：就像学生死记硬背了所有练习题，但遇到新题目就不会做了。

过拟合的原因：数据量太少；模型太复杂（参数太多）；回归系数过大，导致曲线波动剧烈。

例子：

假设我们用多项式拟合房价数据：

• 欠拟合：用一次函数（直线）→ 太简单，拟合不好
• 合适拟合：用二次函数（抛物线）→ 刚好
• 过拟合：用10次多项式 → 曲线剧烈波动，完美拟合训练资料，但预测新数据很差

正则化：防止过拟合

正则化（Regularization）通过在目标函数中加入惩罚项，限制参数的大小，从而防止过拟合。

核心思想：不仅要让预测误差小，还要让参数不要太大。

正则化的目标函数：

$$S^{\prime }=\sum _{i=1}^N(y_i-f(x_i,\beta ){)}^2+\lambda \cdot \text{惩罚项}$$

其中：第一项是误差平方和（拟合数据），第二项是惩罚项（限制参数），$\lambda$是正则化系数（控制惩罚的强度）。

L2正则化（Ridge回归）

惩罚项：参数的平方和（L2范数的平方）

$$S^{\prime }=\sum _{i=1}^N(y_i-f(x_i,\beta ){)}^2+\lambda ||\beta |{|}_2^2$$

其中 $||\beta |{|}_2^2={\beta }_0^2+{\beta }_1^2+...+{\beta }_D^2={\beta }^T\beta$

特点：让所有参数都变小，但不会变成0；对异常值敏感（因为用平方）；解稳定且唯一；适用于特征很多但都重要的情况。

例子：

假设 $\lambda =0.1$，模型有两个参数${\beta }_1$ 和 ${\beta }_2$：

• 没有正则化：${\beta }_1=100,{\beta }_2=50$
• L2正则化：${\beta }_1=10,{\beta }_2=5$（都变小了，但都不为0）

L1正则化（Lasso回归）

惩罚项：参数的绝对值之和（L1范数）

$$S^{\prime }=\sum _{i=1}^N(y_i-f(x_i,\beta ){)}^2+\lambda ||\beta |{|}_1$$

其中 $||\beta |{|}_1=|{\beta }_0|+|{\beta }_1|+...+|{\beta }_D|={\sum }_j|{\beta }_j|$

特点：能够让某些参数变成0（稀疏解）；有助于特征选择（自动去除不关键的特征）；对异常值更鲁棒（因为用绝对值）；适用于特征很多但只有部分重要的情况。

例子：

通过假设有100个特征，但只有10个真正重要：L1正则化能够自动将90个不重要特征的系数变成0，相当于自动做了特征选择。

L1 vs L2 对比

特性	L2正则化（Ridge）	L1正则化（Lasso）
参数是否可以为0	否（接近0但不为0）	是（能够精确为0）
特征选择	否	是（自动选择）
对异常值	敏感	鲁棒
适用场景	所有特征都重要	只有部分特征要紧

如何选择正则化系数λ？

$\lambda$控制正则化的强度：

• $\lambda =0$：没有正则化，可能过拟合
• $\lambda$ 很小：轻微正则化，参数稍微变小
• $\lambda$ 适中：平衡拟合和泛化
• $\lambda$ 很大：过度正则化，参数都接近0，可能欠拟合

选择方法：通常使用交叉验证（Cross-Validation）来选择最优的$\lambda$ 值。

实际应用建议：

• 如果特征很多，想自动选择重要特征 → 使用L1正则化（Lasso）
• 如果所有特征都重要，只想防止过拟合 → 使用L2正则化（Ridge）
• 也可以同时使用L1和L2（Elastic Net）