分类算法（Logistic回归算法）

分类算法

线性回归算法不适合分类问题

 

 

 

一个偏差比较大的点会对最终结果产生很大影响

Logistic回归算法

 

 

 

这就是Sigmoid函数或者叫，Logistic函数

H_Q（x）=1/(1+e^-QTx),函数图像如下

 

 

 

 

 

 

给定参数值以及Q值以后计算出的函数值假如为0.1，就称病人癌症为恶性的概率为70%

 

 

 

 

 

 

 

 

是假设函数的一个边界

那么如何得到参数Q的正确取值呢，构造代价函数如下

 

 

 

定义一个新函数

 

 

 

代价函数和Q值图像如下：

 

 

 

 

 

？？？？？？为什么代价函数等于这个

如果y=1么cost函数的图像如下

 

 

 

如果y=0那么cost函数的图像如下

 

拟合方式

 

 

 

 

 

Logistic拟合方式

 

 

 

其中y恒为0或者1这是定义的。将两个式子整合可以得到一个新的cost函数

 

 

 

‘带入代价函数得到

 

 

 

最小化代价函数得到的q就是满足

’

 

 

 

 

对重复求偏导就是梯度下降法

其他高级算法优点：

不用手动选择学习率，具有智能内循环，叫做线搜索算法，能够自动选择一个好点的学习率

收敛速度更快

缺点是更加复杂

直接调用库即可，不用理解

  

 

 

多类别分类问题

核心思想：

拟合多个逻辑分类器

 

 

 

输入参数后返回可信度最高效果最好的一个分类器来使用