机器学习基石之Linear Regression Problem

1、历史来源

线性回归这个概念是由达尔文的表弟高尔顿在研究父代与子代身高关系的时候提出的，高尔顿搜集了1078对父亲及其儿子的身高数据，用于研究其两者的关系，他画出了该组数据的散点图，发现这些样本点看起来分布在某条直线的周围，因此他使用一条直线来拟合这些样本点。

2、原理

通过线性方程来对目标值进行拟合

3、直观解释

通过最小化所有样本点到hypothesis的距离。

 

4、常用的误差函数

 

 5、线性回归的问题表示

（1）loss函数

可用矩阵运算表示为：

（2）loss的特点

连续、可微、凸函数（一定存在全局最优）