15:逻辑回归(Logistic Regression)

1:逻辑回归

(1)逻辑回归的目标以及方法

 

 (2)为什么不能直接最大化精确度?

 

[注]

问题1:当权值改变,精确度没有改变,即梯度信息为0的情况.

问题2:当权值改变一点,精确度发生很大的变化:如当权值改变0.001,原来判断错误的点被判断为正确,结果导致精确度发生很大的改变,导致梯度信息不连续.从而在优化时发生梯度爆炸.

(3)为什么叫逻辑回归?

 

 [注]

logistic是因为使用了sigmoid函数

regression是因为从MSE(均方差)的角度理解,可以看作regression(回归)问题,如果从Cross Entropy(交叉熵)的角度理解,则可以看作分类问题.

(4)逻辑回归对于分类问题是怎样预测的?

(4.1)Binary Classification 二分类

 

 [注]如果使用minimize MSE进行处理,可以看作是回归问题.

 (4.2)Multi-class classification多分类

 

 

 [注]使用激活函数softmax可以将生成的值压缩成概率值在[0,1]之间.并且保证概率值和为1.