线性回归

模型定义

假设输入空间 \(X\subseteq \mathbb{R}^M\),输出空间 \(Y\subseteq \mathbb{R}\),\(x\in X,y\in Y\)。则函数

\[y=f(x)=w\cdot x+b \]

为线性回归模型。\(w\in \mathbb{R}^m\) 为权重向量,\(b\in \mathbb{R}\) 为偏置。

也可以 \(x=(x_1,x_2,\cdots,x_n,1)^T,w=(w_1,w_2,\cdots,w_M,b)^T\),使得 \(y=w\cdot x\)。

最小二乘法

设训练数据

\[D=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\} \]

对数损失函数

\[\begin{aligned} L(w)&=-\sum_{i=1}^N \log N(y_i\mid (w\cdot x_i),\sigma^2)\\ &=\frac{1}{2}\sum_{i=1}^N \log(2\pi \sigma^2)+\frac{1}{2\sigma^2}\sum_{i=1}^N [y_i-(w\cdot x_i)]^2 \end{aligned} \]

这个是高斯分布的情况,为了简单,只考虑均方误差

\[L(w)=\frac{1}{2N}\sum_{i=1}^N [y_i-(w\cdot x_i)]^2 \]

要求

\[\text{argmin}_w L(w) \]

正规方程

\[\text{argmin}_w L(w)=\text{argmin}_w \frac{1}{2}(y-Xw)^T(y-Xw) \]

这里

\[X=\begin{bmatrix} x_1^T\\ x_2^T\\ \cdots\\ x_N^T \end{bmatrix} \]

对损失函数求一阶导数得到

\[\frac{\partial L(w)}{\partial w}=-X^Ty+X^TXw \]

令导数为 \(0\),假设 \(X^TX\) 可逆,那么

\[w=(X^TX)^{-1}X^Ty \]

梯度下降

见 cnblogs。

参考资料

  • 机器学习方法(一)——李航
posted @ 2026-08-22 19:07  _Iroha  阅读(16)  评论(0)    收藏  举报