线性回归

线性回归

线性模型利用特征的线性函数进行预测，这里的线性指的是参数是线性的。Lasso和岭回归，参考：[深入理解L1、L2正则化 - ZingpLiu - 博客园 (cnblogs.com)](https://www.cnblogs.com/zingp/p/10375691.html)

一、普通最小二乘法

线性回归（OLS）是最简单&最经典的线性方法，模型寻找截距和系数，使得模型对训练集的预测值与真实值之间的均方误差（MSE）最小，但是线性回归没有办法控制模型的复杂度（模型有大量的非0参数）。

需要注意，当训练集中的特征（变量）很多的时候，在训练集上，模型越有可能过拟合，导致泛化能力变差（即样本外的预测能力很差）。

$$
y_{i,t} = \alpha+
\sum_{n=0}^N\beta_n.X_{i,t}+
\epsilon_{i,t}
\
min(y_{i,t}-\hat y_{i,t})^2
$$

二、岭回归

岭回归也是一种用于回归的线性模型，模型公式和OLS一样，但是目标函数不一样，OLS是最小化均方误差，岭回归是最小化系数平方和的情况下，最小化均方误差。在大量特征的模型中，OLS容易过拟合，这容易导致样本外预测能力的下降，而岭回归可以解决这一问题，将一些变量的系数接近于0（降低复杂度），从而提高泛化能力。这也容易理解，当模型对训练集的数据进行了过高的拟合，对训练集之外的样本，预测能力自然就下降了。

$$
y_{i,t} = \alpha+
\sum_{n=0}^N\beta_n.X_{i}+
\epsilon_{i}
\
min{{1\over n}\sum_{i=1}^n (y_{i}-\hat y_{i})^2 +\lambda(\sum_{n=1}^N\beta_n2)^{0.5}}
$$

三、Lasso 回归

除了岭回归之外，还有一种正则化线性回归是Lasso，与岭回归类似，也是约束系数使得系数接近于0，但是与岭回归不同的是，Lasso使用L1正则化，使得一些系数刚好等于0，从而筛选出模型中最重要的的特征。在实践中，Lasso可以给出更加容易理解的模型，因为大部分的变量系数都是0，从而去除了那些对解释y不重要的变量，例如在解释血压变化时，数学成绩是不太重要的变量，而年龄是很重要的变量，Lasso可以使得这种不重要的变量系数接近0。

$$
y_{i,t} = \alpha+
\sum_{n=0}^N\beta_n.X_{i}+
\epsilon_{i}
\
min{{1\over n}\sum_{i=1}^n (y_{i}-\hat y_{i})^2 +\lambda(\sum_{n=1}^N|\beta_n|)} \
$$

四、Graphical Lasso

记$\sum$为均值为0的一个相关性矩阵，将$\sum$的逆记位$\theta$，也叫precision matrix。其中，$\sum$是变量之间的相关性矩阵，记录了任意两个变量之间的相关性系数，

条件独立（conditional independence)

其中，$\theta_{12}$表示变量1和变量2之间的相关性系数，连线表示两个变量之间的相关性系数不是0，