logistic和softmax

一直觉得logistic regression就是softmax的一种特殊的形式,softmax是多类,logistic是两类。

但是今天仔细想了想logistic的意义以及softmax的意义,感觉之前的认识不太对。

 

在西瓜书中,logistic regression的定义,大概是这么说的,发生这件事的概率p1,不发生的概率p0=1-p1。从这个角度来理解,logistic regression其实是预测一件事发生的概率,反过来就是不发生的概率。你如果从分类的角度来看,其实是预测是这类的概率以及不是这类的概率,并不能算是严格意义上的二类分类问题,比如西瓜书上的,是好瓜,反过来的对立面:不是好瓜,这是一件事,只是好坏之分,或者说是硬币的两个面。

相对于softmax多类分类,通常在分类时,用的方式是(1,0,0,0,0),(0,1,0,0,0),(0,0,1,0,0)....(0,0,0,0,1)这样的互斥关系,这是类别互斥,对应西瓜书里应该是 南瓜、西瓜、冬瓜,这样的多分类问题。当然如果是南瓜、冬瓜,那就是二类了,这种形式其实应该是用softmax,而不是用logistic regression,从物理意义上两者是不一样的。softmax处理的是两种硬币,一种是一元的硬币,一种一分的硬币。所以和logistic regression的意义还是不一样的。

 

所以看到西瓜书的课后习题,网上好多读者有提供答案,尤其是在第五章的习题答案中,对西瓜数据进行建模时,用的都是softmax分类器,其实我个人认为这不符合西瓜书的思路。西瓜书本身前面一直没介绍多类分类器softmax,只介绍了logistic regression,而且数据也是是好瓜、不是好瓜 这种标签,因此我觉得沿着书的前面知识来看,第五章的习题处理西瓜数据的应该是用logistic regression,而不是用二类的softmax分类器。

 

转载请注明出处,谢谢。
posted @ 2021-11-11 12:58  caoeryingzi  阅读(7)  评论(0编辑  收藏  举报