机器学习之逻辑回归

一句话:逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降求解参数,来达到将数据二分类的目的

假设函数

逻辑回归算法是将线性函数的结果映射到 sigmoid 函数中:

\[ h_{\theta}{(x)}=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{\theta^{T}x}} \]

函数的形式如下:

uploading-image-440521.png

因此对于输入 x 分类结果为类别 1 和类别 0 的概率分别为:

\[ \begin{align} P(y=1|x;\theta)&=h_{\theta}{(x)}\\ P(y=0|x;\theta)&=1-h_{\theta}(x) \end{align} \]

极大似然估计

利用极大似然估计的方法求解损失函数,首先得到概率函数为:

\[ P(y|x;\theta)=(h_{\theta}(x))^y*(1-h_{\theta}{(x)})^{1-y} \]
因为样本数据互相独立,所以它们的联合分布可以表示为各边际分布的乘积,取似然函数为:

\[ \begin{align} L(\theta)&=\prod_{i=1}^{m}{P(y^{(i)}|x^{(i)};\theta)}\\ &=\prod_{i=1}^{m}{(h_{\theta}(x^{(i)}))^{y^{(i)}}*(1-h_{\theta}(x^{(i)}))^{1-y^{(i)}})} \end{align} \]
取对数似然函数:

\[ l(\theta)=\log(L(\theta))=\sum_{i=1}^{m}{(y^{(i)}\log{(h_{\theta}(x^{(i)}))}+(1-y^{(i)})\log({1-h_{\theta}{(x^{(i)})}}))} \]
最大似然估计就是要求得使 \(l(\theta)\) 取最大值时的 \(\theta\) ,为了应用梯度下降法。我们稍微变换一下:

\[ J(\theta)=-\frac{1}{m}l(\theta) \]

为什么使用极大似然函数来作为损失函数?

  • 对损失函数求负梯度之后,参数的更新只与 \(x_j^i\)\(y^i\) 相关,和 sigmoid 函数本身的梯度是无关的;
  • 从损失函数的函数图形来分析:

对于单个样本来讲,\(J(\theta)\) 所对应的 \(C(\theta)\) 为:

\[ C(\theta)=-[y\log{h_{\theta}(x)}+(1-y)\log{(1-h_{\theta}(x))}] \]
\(y=1\) 时:\(C(\theta)=-\log{h_{\theta}(x)}\)

其函数图像为:

uploading-image-476071.png

从图中可以看出,对于正类 \(y=1\),当预测值 \(h_{\theta}(x)=1\) 时,损失函数 \(C(\theta)\) 的值为 0,这正是我们希望得到的。反之,则会给学习算法较大的惩罚。

\(y=0\) 时:\(C(\theta)=-\log{(1-h_{\theta}(x))}\)

其函数图像为:

uploading-image-224135.png

分析同上。


存在的缺点

  • 准确率不是很高,因为形式比较简单,很难去拟合数据的真实分布;
  • 很难处理数据不平衡的问题,比如正负样本比为 10000:1 时,把所有的样本都预测为正,也能使损失函数的值比较小;
  • 处理非线性数据较麻烦
  • 逻辑回归本身无法筛选特征。有时候用 GBDT 来筛选特征,然后再用逻辑回归。
posted @ 2019-07-16 16:52 Maple17 阅读(...) 评论(...) 编辑 收藏