机器学习相关知识-误差

代价函数

代价函数，在训练逻辑回归模型中需要有个评判标准，让我知道模型参数是多少的时候，模型最优。值得注意的是代价函数是针对整个训练集样本的误差平均。一个好的代价函数需要满足两个最基本的要求：能够评价模型的准确性，对参数θ可微。

就比如假设现在有好多个$(x,y)$，把$x,y$的关系定义为：$$h(x)={\theta }_{0}x+{\theta }_1$$如何找到最合适的${\theta }_0,{\theta }_1$，那就是把每个$(x,y)$代入公式，不要太离谱，取一个各方面都能接受的结果，那就是下面这个公式，最小就好了。
$$J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)}{)}^2$$就是求方程最小解，求偏导，让偏导等于零，可以求出来。在设计代价函数的时候要有下界就好，可以让目标函数逐渐收敛，非负就更为方便。但是有的时候代价函数比较复杂，直接求难度太高，于是人们发明了梯度下降的方法，一步步去找最小值，梯度下降，也就是找到让函数最小时所对应的自变量。

• 均方误差
  $$J=\frac{1}{2n}\sum _x\Vert y(x)-a^L(x){\Vert }^2$$
• 交叉熵
  $$\frac{\partial J}{\partial w_j}=\frac{1}{n}\sum _x{x}_j(\sigma (z)-y)，\frac{\partial J}{\partial b}=\frac{1}{n}\sum _x(\sigma (z)-y)$$

损失函数

我是这样理解的，我们送进模型的样本，肯定不止一个两个，一定是成千上万的，最终最理想的结果是，我找出一个最OK的模型，满足这些样本的误差和最小。但是随之而来的就是代价函数会变得相当复杂，不易求解。损失函数是定义在单个样本上的，算的是一个样本的误差。可以看成是个局部的代价函数吧。

• 0-1损失函数
  $$L(Y,f(x))=\{\begin{array}{ll}1,& |Y-f(x)|⩾T\\ 0,& |Y-f(x)|<T\end{array}$$

• 绝对值损失函数$$L(Y,f(x))=|Y-f(x)|$$

• 对数损失函数$$L(Y,P(Y|X))=-\log P(Y|X)=-\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^M{y}_{ij}log(p_{ij})$$ 形式上等价于二分类的交叉熵损失函数。

• 平方损失函数$$L(Y,f(x))=\sum _N{(Y-f(x))}^2$$

• 指数损失函数$$L(Y,f(x))=\exp (-Yf(x))$$

• Hinge损失函数
  $$L(y)=\max (0,1-ty)$$