线性回归
模型定义
假设输入空间 \(X\subseteq \mathbb{R}^M\),输出空间 \(Y\subseteq \mathbb{R}\),\(x\in X,y\in Y\)。则函数
\[y=f(x)=w\cdot x+b
\]
为线性回归模型。\(w\in \mathbb{R}^m\) 为权重向量,\(b\in \mathbb{R}\) 为偏置。
也可以 \(x=(x_1,x_2,\cdots,x_n,1)^T,w=(w_1,w_2,\cdots,w_M,b)^T\),使得 \(y=w\cdot x\)。
最小二乘法
设训练数据
\[D=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}
\]
对数损失函数
\[\begin{aligned}
L(w)&=-\sum_{i=1}^N \log N(y_i\mid (w\cdot x_i),\sigma^2)\\
&=\frac{1}{2}\sum_{i=1}^N \log(2\pi \sigma^2)+\frac{1}{2\sigma^2}\sum_{i=1}^N [y_i-(w\cdot x_i)]^2
\end{aligned}
\]
这个是高斯分布的情况,为了简单,只考虑均方误差
\[L(w)=\frac{1}{2N}\sum_{i=1}^N [y_i-(w\cdot x_i)]^2
\]
要求
\[\text{argmin}_w L(w)
\]
正规方程
\[\text{argmin}_w L(w)=\text{argmin}_w \frac{1}{2}(y-Xw)^T(y-Xw)
\]
这里
\[X=\begin{bmatrix}
x_1^T\\
x_2^T\\
\cdots\\
x_N^T
\end{bmatrix}
\]
对损失函数求一阶导数得到
\[\frac{\partial L(w)}{\partial w}=-X^Ty+X^TXw
\]
令导数为 \(0\),假设 \(X^TX\) 可逆,那么
\[w=(X^TX)^{-1}X^Ty
\]
梯度下降
见 cnblogs。
参考资料
- 机器学习方法(一)——李航

浙公网安备 33010602011771号