回归模型

回归模型的具体定义

回归模型是机器学习中用于预测数值型目标值的模型。具体来说：

数学定义：

对于一个包含 \(d\) 个特征的数据集，回归模型的数学表达式为：

\[\hat{y} = \mathbf{w}^\top \mathbf{x} + b \]

其中：

• \(\hat{y}\)：模型的预测值（估计值）
• \(\mathbf{x} \in \mathbb{R}^d\)：输入特征向量
• \(\mathbf{w} \in \mathbb{R}^d\)：权重向量（模型参数）
• \(b\)：偏置项（截距）

模型组成要素：

1. 模型：
   线性模型 Linear Regression

   • 基本形式：\(\hat{y} = w_1 x_1 + w_2 x_2 + ... + w_d x_d + b\)
   • 这是一个仿射变换（affine transformation），包含线性变换和平移

   逻辑模型 Logistic Regression

   • 逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率

   多项式模型 Polynomial Regression

   逐步回归 Stepwise Regression

   • 处理多个自变量

   岭回归 Ridge Regression

   • 用于存在多重共线性（自变量高度相关）的数据

   ElasticNet回归

   • ElasticNet是Lasso和Ridge回归技术的混合体

2. 损失函数（用于衡量模型预测质量）：

   • 常用平方误差函数：\(l^{(i)}(\mathbf{w}, b) = \frac{1}{2} \left(\hat{y}^{(i)} - y^{(i)}\right)^2\)
   • 总损失函数：\(L(\mathbf{w}, b) =\frac{1}{n}\sum_{i=1}^n l^{(i)}(\mathbf{w}, b) =\frac{1}{n} \sum_{i=1}^n \frac{1}{2}\left(\mathbf{w}^\top \mathbf{x}^{(i)} + b - y^{(i)}\right)^2\)

3. 优化目标：

   • 寻找最优参数：\(\mathbf{w}^*, b^* = \operatorname*{argmin}_{\mathbf{w}, b}\ L(\mathbf{w}, b)\)

回归模型的目标是通过学习训练数据中的特征与标签之间的关系，找到合适的权重 \(\mathbf{w}\) 和偏置 \(b\)，使得对于新的输入数据能够准确预测其对应的数值型标签。