损失函数

https://zhuanlan.zhihu.com/p/58883095

 

 

1. 平方损失函数

平方损失函数标准形式如下：

特点：

(1)经常应用与回归问题

2. 指数损失函数（exponential loss）

指数损失函数的标准形式如下：

 

特点：

(1)对离群点、噪声非常敏感。经常用在AdaBoost算法中，GBDT也可以是指数损失函数。

3. log对数损失函数

log对数损失函数的标准形式如下：

特点：

(1) log对数损失函数能非常好的表征概率分布，在很多场景尤其是多分类，如果需要知道结果属于每个类别的置信度，那它非常适合。

(2)健壮性不强，相比于hinge loss对噪声更敏感。

(3)逻辑回归的损失函数就是log对数损失函数。

4. 交叉熵损失函数 (Cross-entropy loss function)

对θ求导：

交叉熵损失函数的标准形式如下

 

特点：

（1）用在逻辑回归，神经网络算法中

（2）本质上也是一种对数似然函数，可用于二分类和多分类任务中。

（3）当使用sigmoid作为激活函数的时候，常用交叉熵损失函数而不用均方误差损失函数，因为它可以完美解决平方损失函数权重更新过慢的问题，具有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。

5. 对数损失函数2

形式一：(GBDT)，对f（x）求导

 

 

形式二（FM），对θ求导

 

 

 

 

5. 对数损失函数3

形式：xgboost

6.基尼指数

随机森林