损失函数

# 代价函数

  

* 代价函数的由来

  

一般来说给出一系列点欲求回归线性方程，即点到直线的距离最小


设对应关系为$H(x)$ 则希望$(H(x_i) - y)^2$最小

因为应有一系列的样本点所有欲使所有样本点都尽量符合这样的特征我们要使他们的距离和最小 即：  

  

$\sum_{i=1}^m(H(x_i) - y_i)^2$  

其中m为样本的个数，i为某一个样本 当关注某一个样本时自然要算出平均数$1/m$ 为了整个式子求导方便乘一个数2(为了配平方的导数)所以损失函数的式子变为$1/2m\sum_{i=1}^m(H(x_i) - y_i)^2$

这里使用$ax+b$完全是为了简化思路，实际上随着$H(x)$设置的不同(例如 $ax^2+bx-c$)则会得到完全不同的估计图像。