逻辑回归

首先解释一下逻辑回归叫回归，但是它是经典的二分类算法。

在机器学习的过程中算法选择是：先逻辑回归再用复杂的，能简单还是用简单的

sigmoid函数公式：

 

 

 

可以理解为线性回归的预测结果作为输入

自变量取值为任意实数，值域[0,1]

解释：将任意输入映射到[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到sigmoid函数中，这样就完成了由值到概率的转换，也就是分类任务。

 

 

 预测函数：

 

 

 g代表sigmoid函数

其中θ^Tx是之前求的线性回归公式

分类任务

 

 

 合并两式：

 

 

 

 

 

 

为什么要整合？

解释：方便后续计算，对于二分类任务（0,1），整合后y取0只保留,y取1只留

 

 

对整合后的p转换为似然函数：

 

 

 再将似然函数转换为对数似然：

 

 

 

此时应用梯度上升求最大值，引入转换为梯度下降任务。

 

求导过程：

 

 

 

x_i^j:j表示第几个特征，i表示第几个数据

θ_j的更新：

 

公式中引入负号是为了梯度下降

α是步长（学习率）

多分类的softmax：