机器学习知识体系 - 线性回归

这是机器学习知识体系中的线性回归内容,完整的知识体系可以查看这里

机器学习

什么是机器学习?业界有如下定义:

• ArthurSamuel(1959).MachineLearning:Fieldof study that gives computers the ability to learn without being explicitly programmed.

• TomMitchell(1998)Well-posed Learning Problem: A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E. 

通常情况下,人类进行编程让机器完成一项工作,需要事先定义好一系列程序逻辑,机器然后根据编写的代码来执行,这种方式其实人类定义的规则,机器仅仅是运算执行而已。机器学习强调的是“without explicitly programmed”,通过机器根据某些经验数据,自我归纳总结算法,从而对一些新的数据进行准确的预测推导。

常见的应用场景包括:

1. 数据挖掘

2. 手写识别、自然语言处理(NLP)、计算机视觉

3. 产品推荐系统

4. ...

 

监督学习和无监督学习

机器学习方式大体上分为两种类别:监督学习和非监督学习。

监督学习指的是人类给机器一大堆标示(label)过的数据,通常指机器通过学习一系列(, )数据,X代表输入数据(特征Feature),Y代表输出数据,然后自我推导到X -> Y的公式,用于未来其他数据的预测判断使用。监督学习根据输出数据又分为回归问题(Regression)和分类问题(Classfication)。回归问题通常输出是一个连续的数值,分类问题的输出是几个特定的数值。

举例如下:

(a) 回归问题 - 给定一张人脸照片,估计出这个人的年龄(年龄输出是一个连续的数值)

(b) 分类问题 - 假定一个人患有肿瘤,判断是为恶性还是良性(恶性和良性的输出是几个特定的数值)

 

                        回归问题 - 房价预测

 

                         分类问题 - 肿瘤恶性/良性判断

 

无监督学习所学习的数据没有属性或标签这一概念 也就是说所有的数据都是一样的没有区别,通常给的数据是一系列(),并不存在Y的输出数据。所以在无监督学习中,我们只有一个数据集,没人告诉我们该怎么做,我们也不知道每个数据点究竟是什么意思,相反它只告诉我们现在有一个数据集,你能在其中找到某种结构吗?对于给定的数据集,无监督学习算法可能判定,该数据集包含不同的聚类,并且能够归纳出哪些数据是一个聚类。

 

模型表达

在建立数学模型之前,先约定好一些表达形式:

 - 代表输入数据 (features)

 - 代表输出数据(target)

 - 代表一组训练数据(training example) 

m - 代表训练数据的个数

n - 代表特征数量

监督学习目标就是,假定给一组训练数据,可以学习到一个函数方法h,可以使得h(x) -> y。这个函数方法h被称为假设(hypothesis)。整体流程如下:

 

代价函数

对于线性回归而言,函数h的表达式如下:

我们通常指定:

如果使用线性代数来表达的话

 ,  

, 其中矩阵的转置(Transpose)。

 

那么对于一系列训练数据,如何获得最优的成为解决问题的核心。直观上而言,我们希望获取一组值,使得h(x)越接近y越好。于是定义这个衡量标准为代价函数(Cost Function)如下:

这个函数又称为Squared Error Function。

 

我们看下两个参数的Cost Function图像通常如下:

它是一个弓形的图像,这个弓形的最低点就是的最优解。

 

梯度下降算法

对于线性回归问题,我们需要解决的事情往往如下:

定义出Cost Function - 

希望能够找到一组,能够最小化,即

 

梯度下降算法步骤如下:

1. 随机选择一组

2. 不断的变化,让变小

j=0,1,...n,是所有n+1个值同时进行变化。α 是代表学习速率。 是Cost Function对的偏导数。

3. 直到寻找到最小值

 

偏导求解如下:

 

因此最终的梯度下降算法表达如下:

从Cost Function的图上,我们可以看到选择最优解的过程

           寻找到局部最优解1

                寻找到局部最优解2

 

从上面两个图可以看出,寻找最优解的过程很想是在下山,沿着下山的路下来,并最终到达一个局部的底部保持不变。

 

正规方程Normal Equation

梯度下降算法给出了一种方法可以最小化Cost Function。正规方程(Normal Equation)是另外一种方法,它使用非常直接的方式而不需要进行迭代的算法。在这个方法中,我们通过对J取对应的的偏导数,然后将偏导数设置为0。通过推导,正规方程如下:

 

梯度下降算法和正规方程对比如下:

梯度下降算法 正规方程
需要选择学习速率参数    不需要学习速率参数    
需要很多次迭代 不需要迭代
 
n如果很大依旧还能工作    n如果很大,速度会非常慢  

因此两种方法能否工作取决于n(特征x的数量)的大小,如果n很大(> 10000),那么使用梯度下降算法是比较明智的选择。

 

=================华丽的分割线===========================

有兴趣同学可以关注微信公众号奶爸码农,不定期分享投资理财、IT相关内容:

 

posted @ 2017-02-06 12:33  奶爸码农  阅读(10552)  评论(0编辑  收藏  举报