【数学建模】day08-数理统计III

2. 回归分析

回归分析与曲线拟合区分。

曲线拟合是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间的一个函数，使这个函数对那组数据拟合得好。通常，函数的形式可以由经验、先验知识或对数据的直观观察决定，要 作的工作是由数据用小二乘法计算函数中的待定系数。

但是，从数理统计的观点看，这里涉及的都是随机变量，我们根据一个样本计算出的那些系数，只是它们的一个（点）估计，应该对它们作区间估计或假设检验，如果置信区间太大，甚至包含了零点，那么系数的估计值是没有多大意义的。可以用方差分析 方法对模型的误差进行分析，对拟合的优劣给出评价。

简而言之：回归分析就是对拟合问题作的统计分析。

 

1）必备的知识（重点）

数理统计样本方差，样本均值、期望、方差、k阶矩、k阶中心距的概念。

数据的标准化处理：

 

2）一元线性回归

1. 用最小二乘法求出回归系数（即回归方程的待定系数）。

2. 拟合效果分析

看以下几个标度：

a. 残差的样本方差（标准差）

拟合方程求出的y与真实的y之差叫残差。求这个残差的方差。越小越精确。

b. 判定系数（拟合优度）

建立一元线性回归模型的目的， 就是试图以x 的线性函数来解释 y 的变异。

->求样本的y的方差，记做SST：

->求回归方程求出的y估的方差，记做SSR：

->SSE = SST - SSR，即为残差平方和：

->可以看到: SSE = SST - SSR; dfT = dfR + dfE;

从上式可以看出，y 的变异是由两方面的原因引起的；一是由于x 的取值不同，而 给 y 带来的系统性变异；另一个是由除 x以外的其它因素的影响。

也就是说：

从而，可以指定判定如下：

定义一个测量标准来说明回归方程对原始数据的拟合程度，这就是所谓 的判定系数，有些文献上也称之为拟合优度。

3. 显著性检验:回归方程的假设检验

一元线性回归，我们假设的是y和x是线性关系，但这个线性关系的假定是否靠谱，还要进行显著性检验。

换句话说，β1系数就是线性程度，若β1趋向0，则线性关系不显著。

假设检验：

H0：β1 = 0；

H1：β1 ≠ 0；

检验统计量（推导见课本）：

传统检验，若接受H0，则线性关系不显著。

一般地，回归方程的假设检验包括两个方面：一个是对模型的检验，即检验自变量 与因变量之间的关系能否用一个线性模型来表示，这是由F 检验来完成的；另一个检 验是关于回归参数的检验，即当模型检验通过后，还要具体检验每一个自变量对因变量 的影响程度是否显著。这就是下面要讨论的t检验。在一元线性分析中，由于自变量的 个数只有一个，这两种检验是统一的，它们的效果完全是等价的。但是，在多元线性回 归分析中，这两个检验的意义是不同的。从逻辑上说，一般常在F 检验通过后，再进 一步进行t检验

4. 回归系数的显著性检验

回归参数的检验是考察每一个自变量对因变量的影响是否显著。换句话说，就是要 检验每一个总体参数是否显著不为零。

也就是说，若某一个回归系数接近0，那么这个对应的变量对y的影响就是不显著的。我们对每一个回归系数进行是否等于0的假设检验，得到显著性分析。

 

对于每一个βi，检验：

H0：βi = 0；

H1：βi ≠ 0；

检验统计量为：

决策为：

 

5. 利用回归方程进行预测

这里有点估计、区间估计。

点预测代数即可。

区间预测比较复杂，用到需要查阅。

===

 

总结回归分析的步骤：

step1：

　　给定回归形式（这由经验、先验等得到），以最小二乘拟合等方法得到回归方程的系数

step2：拟合效果分析：这一步检验拟合的效果如何，即回归方程能否比较好的解释y随x的变化。有两个指标需要计算和检验。

　　a. 检验残差的样本方差。

　　　　求残差样本均值，对每一对数据得到的残差(ei = yi - yi估)进而求样本方差MSE。MSE应当小，这样残差变化不大，反应我们的映射是可以的。

　　b. 检验判定系数：拟合优度检验

　　　　仅仅得到残差变化不大，是说明在拟合点处做的可以。但我们还要直到拟合的精度怎么样？也就是说，仅仅知道残差变化不大是不够的，还要具体的知道拟合的精度。

　　　　求SST 是原始数据yi的总变异平方和。

　　　　求SSR 是拟合数据yi估的总变异平方和。

　　　　SSE = SST –SSR 是残差平方和。

　　　　这说明。SST = SSE + SSR。原始数据的变异由两部分解释：一个是我们的拟合，即来自x的影响，另一个是残差，即来自随机误差。

　　　　判定系数R^2 = SSR /SST。即来自x对y的变异影响占y总变异影响的比重。

　　　　R^2应接近于1.

STEP3：显著性检验：上面的假设是给定了回归方程形式，但这个形式靠谱不靠谱还是需要检验的。分两步，F检验和t检验。

　　　a. F检验

　　　　检验回归模型的方程形式是否靠谱。

　　　　求SSR，SSE。F = （SSR/1）/ (SSE/(n-2)) 服从F(1,n-2)分布。

　　　　记：yi关于xi的总体回归系数是βi。

　　　　检验H0 ：βi= 0；

　　　　根据F检验。若拒绝H0，则通过了F检验，也就是说拥有给定回归关系是显著的。

　　　　

　　b. t检验

　　　　给定回归方程形式中有许多的回归系数，这些系数反映了各自对应的变量x对y的影响如何。但这个影响是否是显著的　　　　呢？就是说若回归系数近似为0，则该变量其实对目标y没有什么影响。这里需要t检验，检验每一个回归系数。

　　　　对系数构造统计量（查阅）服从t(n-2)，检验：

　　　　H0： βi = 0

　　　　检验若落在拒绝域，则拒绝H0，通过了t检验。

　　综上，检验结束。

 

MATLAB中提供的几种回归形式：

 

（多元线性、高次（多元二次、一元多项式））

MATLAB中的多元线性回归：

形式：

函数：b = regress(Y,X)

param:

　　Y，X按照下列排列：

　　　　\

return：

　　返回相应形式的系数β。

 

函数：[b,bint,r,rint,stats]=regress(Y,X,alpha)

param：

　　这里指定检验的显著性水平alpha。

return：

　　b和bint是系数的估计值以及1-alpha置信区间。

　　r和rint是残差（向量）以及其置信区间。

　　stats：是四个量，用于检验的统计量都给计算出了。

　　　　第一个值是R^2，第二个值是F，第三个值是与F对应的概率p(p小于alpha则拒绝H0)，第四个是残差的方差S^2.（S称作剩余标准差）

【判定标准：先看S^2要小，再看判定系数R^2是y估的变异占y的变异比重，接近于1；再看F和p，F要大于对应F分布的上α分位点，p要大于显著性阿尔法，则通过了回归形式的检验；有必要还要再看每一个参数的t检验，即拒接t检验H0，这里t参数要自己算（下面举例子）】

残差及其置信区间可以用rcoplot(r,rint)画图。

 

MATLAB中的多元二项式回归：

函数：rstool(x,y,model,alpha):

param：

　　x：是n*m的矩阵，每一行是一条数据，行数是样例数

　　y:  n维向量

　　alpha:显著性水平

　　model：取下列值

　　

这个函数会得到拟合的交互式画面。会显示其他变量固定时，另一个变量的的置信区间。另外可以手动改变固定值。

并且，可以保存系数、残差向量、剩余标准差（残差的方差开根号）

 

MATLAB中的一元多项式回归:

就是拟合的ployfit命令

[p,s]=polyfit(x0,y0,n); p

param：

　　x0，y0即拟合的点

　　n：要拟合的多项式次数

return：

　　p：系数矩阵，按次数从高到低排列

　　s：数据结构，用来计算函数值以及置信区间

[y,delta] = polyconf(p,x0,s)

param:

　　p是系数矩阵

　　x0是要计算的点

　　s：polyfit的返回参数s

return：

　　y：拟合值

　　delta:置信区间半径

图形画面工具箱命令：polytool（x0,y0,n）：

得到交互式画面，显示拟合曲线以及两条红线，表示置信上限和下限，如：

 

 

偏相关系数：又称作净相关系数，不考虑其他，只考虑一个xi与y的相关程度。（偏相关系数的检验）

 

->重点：变量筛选

变量筛选是建立简单回归分析模型所最常使用的方法，这个在简单回归模型中最重要，之后可以再采取高级的偏最小二乘回归分析等方法。

直接指定一个回归形式并使用所有变量进行多元回归，是过于武断的，这样的效果往往不好。

选择自变量时，一方面希望不遗漏重要的解释变量；另一方面希望参数尽量少，以降低模型复杂度。假设有m组数据，选定自变量数m。有效的方差有向前选择（逐渐增加变量）、向后选择（逐渐减少变量）和逐步回归法（结合上述）。

 

首先必须学习偏F检验的基本知识。

在决定一个新的变量是否有必要进入模型，或者判断某个变量是否可以从模型中删 除时，我们首先要问的问题是：这个变量能否对 y 提供显著的附加解释信息？回答这 个问题的方法是采用偏F 检验。

偏F检验规则：

为此进行△Rj方的假设检验：

检验统计量为：

式中，  Qj 是减模型的残差平方和，Q为全模型的残差平方和。

Fj服从F分布。

决策为：

若拒绝H0，则引入该变量。否则不引入。

 

方法1：向前选择变量法

方法2：向后选择变量法

 

方法3：逐步回归

写作时需要说明为什么要用逐步回归：

边退边进的逐步回归方法：

 

调整复判定系数：

MATLAB逐步回归命令：

stepwise（x,y,inmodel,alpha）：只能进行多元线性模型

param：

　　x，y：n*m和n*1，n条数据

　　inmodel：矩阵x列数的指标，给出初始模型中包括的子集（模型开始时已经选中的变量）。（缺省为空）

　　alpha：显著性水平

　　

return：

　　逐步回归界面。在界面上进行一系列分析和工作。

 

一个向前选择变量、向后选择变量分析的例子（注意函数的套用，以及分析的语言说明）：

 

最后，在说一个非线性回归。

非线性回归并不是目标y对变量x的非线性，而是对回归系数而言的非线性。

Matlab统计工具箱中的nlinfit，nlparci，nlpredci，nlintool，不仅给出拟合的回归系数， 而且可以给出它的置信区间，及预测值和置信区间等。给一个例子，具体用到要查阅函数手册以及套用相关函数。

这些函数都是产生交互式界面，export可以传出相关指标如剩余标准差。

 

 

 

其他没有阅读的：

§7  复共线性与有偏估计方法

前面我们详细讨论了回归系数的小二乘估计，并且证明了它的许多优良性质。 随着电子计算机技术的飞速发展，人们愈来愈多地有能力去处理含较多回归自变量的大 型回归问题。许多应用实践表明，在这些大型线性回归问题中，小二乘估计不是总令 人满意。例如，有时某些回归系数的估计值的绝对值差异较大，有时回归系数的估计值 的符号与问题的实际意义相违背等。研究结果表明，产生这些问题的原因之一是回归自 变量之间存在着近似线性关系，称为复共线性（Multicollinearity）。

§8 岭回归以及检验

用到查阅吧。