机器学习第二讲

第二讲、回归

1.矩阵

numpy.linalg模块包含线性代数的函数，可计算逆矩阵、求特征值、解线性方程组以及求解行列式等。

行列式:np.linalg.det(A).

计算逆矩阵:np.linalg.inv(A).

2.回归

回归指的是一类预测变量为连续值的有监督学方式。

在回归模型中，需要预测的变量叫做因变量，用来解释因变量变化的变量叫做自变量。

①一元线性回归

 

 

 

 

 

2.多元线性回归

 

 

3.非线性

多项式回归∶使用原始特征的二次项、三次项。

线性回归解决非线性问题 问题︰维度灾难、过度拟合。

4.多重共线性

 

 

5.过度拟合问题

当模型的变量过多时，线性回归可能会出现过度拟合问题。

解决：正则化。减少线性回归的的过度拟合和多重共线性。

 

 

①岭回归

 

 

②LASSO

 

 

 

随着入增大，LASSO的特征系数逐个减小为0，可以做特征选择;而岭回归变量系数几乎同时趋近于0。

6.回归模型的评价指标