# 一、线性回归学习目标

1. 线性模型
2. 一元线性回归和多元线性回归
3. 多项式回归和对数线性回归
4. 线性回归的L1正则化和L2正则化
5. 线性回归流程
6. 线性回归优缺点

# 二、线性回归引入

$\hat{y} = \omega_1x_1 + \omega_2x_2 + \omega_3x_3 + \omega_4x_4 + b$

# 三、线性回归详解

## 3.1 线性模型

$\hat{y} = f(x) = \omega_1x_1 + \omega_2x_2 + \cdots + \omega_nx_n + b$

$\hat{y} = f(x) = \omega^Tx + b \quad \omega=\{\omega_1,\omega_2,\ldots,\omega_n\},x=\{x_1,x_2,\dots,x_n\}$

## 3.2 一元线性回归

### 3.2.1 一元线性回归的目标函数

$\hat{y_i} = f(x_i) = \omega{x_{i}} + b$

$L(\omega,b) = (y_i - \hat{y_{i}})^2$

\begin{align} J(\omega,b) & = \sum_{i=1}^m (y_i - \hat{y_{i}})^2 \\ & = \sum_{i=1}^m (y_i - w^Tx_i - b) \end{align}

### 3.2.2 均方误差最小化——最小二乘法

\begin{align} & {\frac{\partial{L(\omega,b)}}{\partial\omega}} = 2(\omega\sum_{i=1}^m {x_i}^2 - \sum_{i=1}^m (y_i-b)x_i) \\ & {\frac{\partial{L(\omega,b)}}{\partial{b}}} = 2 (mb - \sum_{i=1}^m (y_i - \omega{x_i}) \end{align}

$\omega = {\frac {\sum_{i=1}^m y_i(x_i-\overline{x})} {\sum_{i=1}^m {x_i}^2 - {\frac{1}{m}(\sum_{i=1}^m x_i)^2}} }$

$b = {\frac{1}{m}} \sum_{i=1}^m (y_i - \omega{x_i})$

## 3.3 多元线性回归

$\hat{y_i} = f(x_i) = \omega_0x_{i0} + \omega_1x_{i1} + \omega_2x_{i2} + \cdots + \omega_nx_{in} + b = \omega^Tx_i \quad w_0=b,x_{i0}=1$

\begin{align} J(\omega) & = \sum_{i=1}^n (y_i - \hat{y_{i}})^2 \\ & = \sum_{i=1}^n (y_i - w^Tx_i) \end{align}

### 3.3.1 均方误差最小化——最小二乘法

$X = \begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1n} & 1 \\ x_{21} & x_{22} & \cdots & x_{2n} & 1\\ \vdots & \vdots & \ddots & \vdots & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{mn} & 1\\ \end{pmatrix}$

$Y = \begin{pmatrix} y_1 & y_2 & \cdots & y_m \end{pmatrix}$

$J(\omega) = {\frac{1}{2}}(X\omega-Y)^T(X\omega-Y)$

${\frac {\partial{L(\omega)}} {\partial{\omega}}} = 2X^T(X\omega-Y)$

$$X^TX$$为满秩矩阵(full-rank matrix)或正定矩阵(positive definite matrix)时，$$2X^T(X\omega-Y)=0$$可得$$\omega$$

$\omega = (X^TX)^{-1}X^TY$

$$\omega$$加入正则化项则变成

$\omega = (X^TX+\lambda{I})^{-1}X^TY$

## 3.4 多项式回归

$\hat{y} = f(x) = \omega_1x_1 + \omega_2x_2 + \cdots + \omega_nx_n + b$

$\hat{y} = \omega_1x_1 + \omega_2{x_1}^2 + \omega_3{x_1}^3 + b$

$$x_1=x_1,x_2={x_1}^2,x_3={x_1}^3$$，则多项式的线性模型变成

$\hat{y} = \omega_1x_1 + \omega_2x_2 + \omega_3x_3 + b$

## 3.5 对数线性回归

$\ln\hat{y} = \omega^Tx+b$

$\hat{y} = g^{-1}(\omega^Tx+b) \quad \text{或者} \quad g(\hat{y}) = \omega^Tx+b$

## 3.6 局部加权线性回归

\begin{align} J(\omega) & = \sum_{i=1}^m w_i (y_i - \hat{y_i})^2 \\ & = (X\omega - Y)^TW(X\omega-Y) \end{align}

${\frac{\partial{J(\omega)}}{\partial{\omega}}} = X^TWX\omega-X^TWY$

$\omega = (X^TWX)^{-1}X^TWY$

$W(i,i) = exp({\frac{|x^{(i)}-x|}{-2k^2}})$

## 3.7 正则化

### 3.7.1 L1正则化

$J(\omega) = {\frac{1}{2}} (X\omega-Y)^T (X\omega-Y) + \lambda\sum_{i=1}^m||\omega||_1$

### 3.7.2 L2正则化

$J(\omega) = {\frac{1}{2}} (X\omega-Y)^T (X\omega-Y) + {\frac{1}{2}}\lambda\sum_{i=1}^m||\omega||_2$

Ridge回归一般使用最小二乘法的矩阵推导形式，和普通的线性回归类似，首先对$$\omega$$求导得

${\frac{\partial{J(\omega)}}{\partial{\omega}}} = X^T(X\omega-Y)+\lambda\omega$

$$X^T(X\omega-Y)+\lambda\omega=0$$即可得到$$\omega$$

$\omega = (X^TX+\lambda{E})^{-1}X^TY$

### 3.7.3 弹性网络

$J(\omega) = {\frac{1}{2}} (X\omega-Y)^T (X\omega-Y) + \gamma\lambda\sum_{i=1}^m||\omega||_1 +{\frac{1-\gamma}{2}}\lambda\sum_{i=1}^m||\omega||_2$

# 四、线性回归流程

## 4.1 输入

$$m$$个实例$$n$$维特征的数据集

$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\}$

## 4.2 输出

$$\omega$$和线性回归模型$$f(x)=\omega^Tx$$

## 4.3 流程

1. 选取初值$$\omega=0$$
2. 训练集中选取数据$$(x_i,y_i)$$，对$$\omega$$使用梯度下降更新

$\omega = \omega - \alpha(y_i-h(\omega^Tx)){x_i}^{(j)}$

1. 重复步骤2，直至$$\omega$$收敛停止更新
2. 得到最小化的目标函数$$J(\omega)$$，同时可以得到最优的$$\omega^*$$，线性回归模型为$$f(x)={w^*}^Tx$$

# 五、线性回归优缺点

## 5.1 优点

1. 建立了多特征与标记间的线性因果关系便于分析
2. 可以得到每个特征值的权重，有很好的解释型

## 5.2 缺点

1. 普通的线性回归无法处理敏感值问题
2. 无法处理分类问题

# 六、小结

posted @ 2019-10-16 17:07  B站-水论文的程序猿  阅读(6552)  评论(0编辑  收藏  举报