logistic和softmax

一直觉得logistic regression就是softmax的一种特殊的形式，softmax是多类，logistic是两类。

但是今天仔细想了想logistic的意义以及softmax的意义，感觉之前的认识不太对。

 

在西瓜书中，logistic regression的定义，大概是这么说的，发生这件事的概率p1，不发生的概率p0=1-p1。从这个角度来理解，logistic regression其实是预测一件事发生的概率，反过来就是不发生的概率。你如果从分类的角度来看，其实是预测是这类的概率以及不是这类的概率，并不能算是严格意义上的二类分类问题，比如西瓜书上的，是好瓜，反过来的对立面：不是好瓜，这是一件事，只是好坏之分，或者说是硬币的两个面。

相对于softmax多类分类，通常在分类时，用的方式是(1,0,0,0,0),(0,1,0,0,0),(0,0,1,0,0)....(0,0,0,0,1)这样的互斥关系，这是类别互斥，对应西瓜书里应该是 南瓜、西瓜、冬瓜，这样的多分类问题。当然如果是南瓜、冬瓜，那就是二类了，这种形式其实应该是用softmax，而不是用logistic regression，从物理意义上两者是不一样的。softmax处理的是两种硬币，一种是一元的硬币，一种一分的硬币。所以和logistic regression的意义还是不一样的。

 

所以看到西瓜书的课后习题，网上好多读者有提供答案，尤其是在第五章的习题答案中，对西瓜数据进行建模时，用的都是softmax分类器，其实我个人认为这不符合西瓜书的思路。西瓜书本身前面一直没介绍多类分类器softmax，只介绍了logistic regression，而且数据也是是好瓜、不是好瓜 这种标签，因此我觉得沿着书的前面知识来看，第五章的习题处理西瓜数据的应该是用logistic regression，而不是用二类的softmax分类器。