线性回归算法
回归是指利用样本（已知数据），产生拟合方程，从而对（未知数据）进行预测。
用途：预测、判别合理性。
困难：①选定变量（多元）；②避免多重共线性；③观察拟合方程，避免过度拟合；④检验模型的合理性。
因变量与自变量的关系：①相关关系（非确定性关系，比如物理与化学成绩相关性），使用相关系数衡量线性相关性的强弱；②函数关系（确定性关系）
相关系数求解：Pearson样本积矩相关系数
注意，如果样本是两组配对的顺序数据时，则采用Spearman等级相关系数（秩相关或名次相关）
公式中，分别表示
的名次（从大到小或从小到大）。
线性回归中最小二乘法的应用
判断直线拟合程度，如果是通过点向直线引垂线，由解析几何点到直线的距离公式可知，涉及到开方，这样不好求极值，所以改为由点向直线引竖直线求长度，去绝对值，
。
这回归误差/残差平方和（二乘数）
为了使得二乘数RSS最小，则求RSS的极小值，该方法称为最小二乘法
解二元一次方程组，得到a, b的估计值。
注意：回归问题擅长于内推插值，而不擅长于外推归纳，在使用回归模型做预测时要注意x适用的取值范围。
（1）多元线性回归模型
① 判定系数（模型对样本数据的解释程度）
②回归系数检验统计量（变量的显著性）
③线性回归方程拟合程度检验统计量（模型的拟合程度）
（2）含虚拟变量的多元线性回归模型
如果直接定义黄、白、黑分别为1,2,3，这样是错误的
虚拟变量在这里起到调整截距作用
（3）逐步回归
向前引入法：从一元回归开始，逐步增加变量，使指标值达到最优为止；
向后剔除法：从全变量回归开始，逐步删去某个变量，使指标值。。。；
逐步筛选法：同时向前引入和向后删除
（4）回归诊断
①样本是否符合正态分布假设，如果不符合，则检验和区间预测没法做，这是因为很多检验和预测方法都是基于正态分布的假定之上；
②是否存在离群值导致模型产生较大误差，比如输入错误；
③线性模型是否合理；
④误差是否满足独立性、等方差性、正态分布等假设条件，即不会随y的改变而改变，误差项不受y的影响；
⑤是否存在多重共线性，这会导致矩阵行列式值为0，则矩阵的逆会趋于无穷大，多元回归模型的系数也会失真变大。
对应的解决方法：
① 拟合度检验，卡方统计量；
② 散点图观察等；
③ 统计量是否合理；
④ 残差图是否合理；
⑤ 逐步回归，解决多重共线性的一种方法
（5）多重共线性
若存在多重共线性，则经过中心化和标准化得到的向量，记
因此，如果存在多重共线性，则是没办法求解的，或者求解结果不稳定。
出现模型不稳定情况（鲁棒性较低），当数据发生一小点变化时，结果就会发生很大变化，比如系数求出来很大，几千万、几百万；系数正负符号也会经常发生切变。
（注意：矩阵出现奇异性原因有两个：①变量个数比样本多；②出现多重共线性。）
多重共线性度量指标
如何找出哪些变量是多重共线性
