sigmoid与softmax 二分类、多分类的使用

二分类下,sigmoid、softmax两者的数学公式是等价的,理论上应该是一样的,但实际使用的时候还是sigmoid好

https://www.zhihu.com/question/295247085

为什么好?其实现在我得到一个确切的答案!

 

多个sigmoid与一个softmax都可以进行多分类

如果多个类别之间是互斥的,就应该使用softmax,即这个东西只可能是几个类别中的一种。

如果多个类别之间不是互斥的,使用多个sigmoid。比如4个类别人声音乐、舞曲、影视原声、流行歌曲,一首歌曲可以来自影视原声,同时也包含人声。

https://max.book118.com/html/2017/0428/102950525.shtm

为什么softmax使用在类别互斥,多个sigmoid使用在不是互斥?

因为softmax中,所有类别之和是1,如果你一个类别高了,另一个类别的概率肯定下降。但多个sigmoid,可以同时输出多个0.9的概率,多个sigmoid之间不影响。比如一首歌曲,第一个类别是判断是否是影视歌曲,可以是0.9,判断的人声的类别也可以是0.9。但如果是softmax,影视歌曲类别是0.9了,人声就最多只能是0.1了。

posted @ 2019-08-19 21:08  有梦就要去实现他  阅读(...)  评论(...编辑  收藏