机器学习（二）线性归回模型

我们假设有M个样本，x表示输入，y表示输出。

一个样本i，记为$(x^i，y^i)$。

我们假设这个回归模型为$h(x)=\theta_0+\theta_1x$

那么我们如何去评价拟合的效果呢？

一个估价函数$J(\theta_0,\theta_1)=\frac{1}{2m}\sum_i^m(h(x^i)-y^i)^2$。

那么我们这个拟合就是为了选取$\theta_0,\theta_1$，使得$J(\theta_0,\theta_1)$最小化。

这个估价函数可以有很多种，这是最常用的一个。

那么如何去求出这个估价函数的最小值呢？

梯度下降法：

$\theta_j=\theta_j-\alpha\frac{\partial}{\partial\theta_j}$

让$\theta$不断沿着梯度方向下降并更新，找到一个局部最优解。$\alpha$为学习速率，决定了学习的时间。

而且这些变量是同时下降的。这里首先介绍的是批量梯度下降也就是在更新的时候用到了所有的训练样本。