机器学习(周志华)第三章学习笔记----------线性回归

 1、分类与回归的区别　

       分类和回归的区别在于输出变量的类型。分类的目标变量是标称型数据，而回归将会对连续型的数据做出预测。

 

　　定量输出称为回归，或者说是连续变量预测；预测明天的气温是多少度，这是一个回归任务；

　　定性输出称为分类，或者说是离散变量预测；预测明天是阴、晴还是雨，就是一个分类任务。

2、线性回归评价

　　优 点 ：结果易于理解，计算上不复杂。
　　缺 点 ：对非线性的数据拟合不好。

　　适用数据类型：数值型和标称型数据。

标称型：其实就是离散型数据，标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类)

数值型：数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)

3、闭解式

　　闭解式也被称为解析式，与数值解对应。解析解（analytical solution）就是一些严格的公式，给出任意的自变量就可以求出其因变量，也就是问题的解，他人可以利用这些公式计算各自的问题。所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。用来求得解析解的方法称为解析法（analytic techniques、analytic methods），解析法既是常见的微分技巧，例如分离变量法等。解析解为封闭形式的函数，因此对任一变量，我们皆可将其带入解析函数求得正确的相依变量。因此，解析解也被称为闭式解。

4、argminf(x)函数

 　　argminf(x)是指使得函数f(x)取得最小值的所有自变量x的集合。比如，函数cos(x)在±π，±3π，±5π、......处取得最小值（-1），则argmin cos(x)={±π，±3π，±5π、......}。

     如果函数f(x)只在一处取得其最小值，则argmin f(x)为单点集，比如argmin(x-4)^2=4.

5、式(3.5)和(3.6)的推导过程

首先我们将E(w,b)进行一下处理我们先令，然后我们将得到

　　　　　　　　　　

上式分别对和b求偏导的过程如下

　　　　　　　　　                        　

6、式(3.10)的推导过程

首先在推导之前我们需要知道这两个基本的公式

　　　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　

有了这两个公式我们对进行化解

　　　　　　　　　　　　　　　　　　

然后将化解得到的函数对求偏导可得

　　　　　　　　　　　　　　　　　　

当为满秩矩阵或正定矩阵时，令上式等于零，最终我们将得到下面的结果

　　　　　　　　　　　　　　　　　　

7、满秩矩阵

　　满秩矩阵（non-singular matrix）:设A是n阶矩阵, 若r（A） = n, 则称A为满秩矩阵。但满秩不局限于n阶矩阵。

　　若矩阵秩等于行数，称为行满秩；若矩阵秩等于列数，称为列满秩。既是行满秩又是列满秩则为n阶矩阵即n阶方阵。行满秩矩阵就是行向量线性无关，列满秩矩阵就是列向量线性无关；所以如果是方阵,行满秩矩阵与列满秩矩阵是等价的。

 

       满秩有行满秩和列满秩，既是行满秩又是列满秩的话就一定是是方阵。

       矩阵的秩: 用初等行变换将矩阵A化为阶梯形矩阵, 则矩阵中非零行的个数就定义为这个矩阵的秩, 记为r（A），根据这个定义, 矩阵的秩可以通过初等行变换求得。需要注意的是, 矩阵的阶梯形并不是唯一的, 但是阶梯形中非零行的个数总是一致的。 可逆矩阵是方阵。

 

满秩矩阵是一个很重要的概念, 它是判断一个矩阵是否可逆的充分必要条件。满秩方阵必可逆，可逆矩阵必满秩。

 

非奇异矩阵：指的是方阵的行列式不为零的矩阵。如果用A表示该矩阵，那么非零矩阵可表示为│A│≠0。其中非奇异矩阵是满秩矩阵。

 

8、正定矩阵

正定矩阵是一种实对称矩阵。正定二次型f(x1，x2，…，xn)=X′AX的矩阵A(或A的转置)称为正定矩阵。       正定的充分必要条件是其顺序主子式全大于0。若矩阵A正定，必有|A|>0,故A可逆。

9、正则化

http://blog.csdn.net/u012162613/article/details/44261657