为什么逻辑斯特回归(logistic regression)是线性模型

一个典型的logistic regression模型是:

这里明明用了非线性函数，那为什么logistic regression还是线性模型呢？

 

首先，这个函数不是f(y,x)=0的函数，判断一个模型是否是线性，是通过分界面是否是线性来判断的。

这个P函数是y关于x的后验概率，它的非线性性不影响分界面的线性性。可以通过令两种类别的概率相等，求解x的表达式，如果是线性的，那么就是线性模型。

 

打破线性也很简单，只要变量之间相乘一下，或者使用非线性函数。

 

容易得出，softmax regression对于每两个类别之间的boundary也是线性的。

 

现在的神经网络使用RELU也就是max(0,x)进行非线性变换，可以看出这是一种非常简单的非线性，可能在一定程度上依然有很强的线性性。