常见LOSS函数之Cross Entropy(交叉熵)

常见LOSS函数之Cross Entropy(交叉熵)

交叉熵是分类问题常用的损失函数。

熵

熵表示稳定性或者说惊喜度，熵越高表示越稳定，其惊喜度就越低。

示例

一般用H(p)表示熵

交叉熵

交叉熵=熵+散度

散度代表分布的重叠程度，散度越高重合度越少。

当两个分布p和q相等时，散度等于0，此时交叉熵等于熵值。

二分类问题

示例

Softmax与交叉熵

在一般的情况下，Softmax和交叉熵是一起使用的，单独使用会出现数据不稳定的情况。在pytorch中使用时，Softmax被内置在了CrossEntropy中。