西瓜书第3章线性模型-线性回归

线性回归知识点总结

1. 概念

线性回归的目标是通过输入变量（特征）与输出变量之间的线性关系，来预测输出值。它可以分为两类：

• 简单线性回归：只有一个输入特征 ( x )，模型形式为：

  \[y = \theta_0 + \theta_1 x + \epsilon \]

  其中，\(\theta_0\) 是截距，\(theta_1Q\) 是特征 \(x\)的权重，\(\epsilon\)是误差项。

• 多元线性回归：有多个输入特征 \(x_1\), \(x_2\), \(\dots\), \(x_n\)，模型形式为：

  \[y = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \dots + \theta_n x_n + \epsilon \]

  其中，\(\theta_i\)为每个输入特征的权重。

2. 模型假设

线性回归模型基于以下假设：

• 线性假设：目标变量 \(y\) 与输入变量\(x\)之间的关系是线性的。
• 同方差性：误差项的方差相同，且不随\(x\)的变化而变化。
• 独立性：误差项之间相互独立。
• 正态性：误差项服从正态分布。

3. 损失函数（目标函数）

常见的损失函数是最小二乘法，即最小化预测值与真实值之间的平方误差之和：

\[\text{损失函数} = J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} \left( h_\theta(x^{(i)}) - y^{(i)} \right)^2 \]

其中：

• \(m\) 是训练样本的数量，
• \(h_\theta(x^{(i)})\) 是第 $ i $ 个样本的预测值，
• $ y^{(i)} $ 是第 $ i $ 个样本的真实值。

4. 梯度下降法

线性回归可以使用梯度下降法来最小化损失函数。梯度下降的更新公式为：

\[\theta_j = \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta) \]

其中，$ \alpha $ 是学习率。具体更新公式为：

\[\theta_j = \theta_j - \alpha \frac{1}{m} \sum_{i=1}^{m} \left( h_\theta(x^{(i)}) - y^{(i)} \right) x_j^{(i)} \]

5. 正规方程

另一种求解线性回归的方式是正规方程，它可以直接求解参数 ( \theta )：

\[\theta = (X^T X)^{-1} X^T y \]

其中：

• $ X $ 是输入特征矩阵，
• $ y $ 是输出标签向量。

6. 评价指标

常见的线性回归模型评价指标包括：

• 均方误差（MSE）：
  \[\text{MSE} = \frac{1}{m} \sum_{i=1}^{m} \left( h_\theta(x^{(i)}) - y^{(i)} \right)^2 \]

• 决定系数 $ R^2 $：
  \[R^2 = 1 - \frac{\sum_{i=1}^{m} \left( h_\theta(x^{(i)}) - y^{(i)} \right)^2}{\sum_{i=1}^{m} \left( y^{(i)} - \bar{y} \right)^2} \]
  其中，$ \bar{y} $ 是真实值的均值。

7. 正则化

为了防止过拟合，线性回归可以加入正则化项：

• Lasso回归（L1正则化）：
  \[J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} \left( h_\theta(x^{(i)}) - y^{(i)} \right)^2 + \lambda \sum_{j=1}^{n} |\theta_j| \]

• Ridge回归（L2正则化）：
  \[J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} \left( h_\theta(x^{(i)}) - y^{(i)} \right)^2 + \lambda \sum_{j=1}^{n} \theta_j^2 \]
  其中，$ \lambda $ 是正则化强度的控制参数。

总结

线性回归是一种基础的回归模型，其核心内容包括：模型假设、损失函数、梯度下降、正规方程、模型评价和正则化等。在实践中，它常用于数据与目标变量呈线性关系的场景。