逻辑回归

逻辑回归假设因变量 y 服从伯努利分布，

线性回归假设因变量 y 服从高斯分布。

 

对线性回归的结果做一个在函数g上的转换，可以变化为逻辑回归。这个函数g在逻辑回归中我们一般取为sigmoid函数，形式如下：

 

 

 即当z趋于正无穷时，g(z)趋于1，而当z趋于负无穷时，g(z)趋于0，这非常适合于我们的分类概率模型。

导数性质：　g′(z)=g(z)(1−g(z))

如果我们令g(z)中的z为：z=xθ，这样就得到了二元逻辑回归模型的一般形式：

 

 

 

 

 (2)损失函数

 

 

 

 

 

 

 

 （3）正则化