常用激活函数/损失函数/代价函数

ustczhng2012

目录

激活函数

Logistic

Softmax

Relu

Tanh

损失函数

0-1损失函数

平方损失函数

绝对值损失函数

对数损失函数

代价函数

均方误差

均方根误差

平均绝对值误差

交叉熵误差​

---

激活函数

Logistic

二分类的sigmoid函数，如果叠加实现多分类，分类结果不是互斥的。比如某个结果可能既是苹果，又是水果

Softmax

多分类simoid函数，分类结果是互斥的。

Relu

Tanh

损失函数

0-1损失函数

平方损失函数

绝对值损失函数

对数损失函数

代价函数

均方误差

均方根误差

平均绝对值误差

交叉熵误差