随便记记

学习目录

吴恩达老师ml,dl笔记的链接：点我

吴恩达深度学习deeplearning.ai视频：点我

李沐大神的教程地址：点我

亚马逊良心学习实验平台: 点我

王木头学科学: 点我

一：损失函数，代价函数，目标函数定义

首先给出结论：

损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。

代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。

关于目标函数和代价函数的区别还有一种通俗的区别：

目标函数是最大化或者最小化，而代价函数是最小化

比如平方差的损失函数是：

\[\frac{1}{2}\sum_{i=1}^{n}(y_{i}-\bar{y}_{i})^2 \]

平方差的代价函数是：

\[\frac{1}{2n}\sum_{i=1}^{n}(y_{i}-\bar{y}_{i})^2 \]