二分类

二分类

由于线性模型在拟合二分类问题的表现很差，因此在做二分类回归时需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。

考虑到二分类任务，其输出标记为\(y \in {0,1}\)，而线性回归模型产生的预测值为\(h_\theta(x) = \Theta X\)，是连续的实值。于是需要将连续值转换为0/1离散值。最理想的是单位阶跃函数。但由于其不连续，因此无法建立输入、输出的一一映射，因此用sigmoid函数作为替代。

由于二分类本质上是线性回归的变式，其用到的大多数思想与线性回归差不多，因此这篇文章仅介绍二分类的一些独有的特点(如目标函数、损失函数、代价函数。这些都另有博客讲解)，而不介绍线性回归也有的内容(梯度下降、特征归一化、特征映像、正则化)。

新目标函数:

\[H_\theta(X) = sigmoid(\Theta X) = \frac{1}{1+e^{-\Theta X}} \]

其性质：

• \(\Theta X \geqslant 0\) , \(P(y=1|x) \geqslant 0.5\)
• \(\Theta X \leqslant 0\) , \(P(y=0|x) \geqslant 0.5\)
• \(\Theta X \geqslant 4 , P(y=1|x) \rarr 1\)
• \(\Theta X \leqslant -4.6 , P(y=0|x)\rarr 1\)
• \(Sigmoid(x)' = Sigmoid(x)(1-Sigmoid(x))\)

据此可以得到二分类问题的各项函数

• 目标函数： \(h_\theta(x) = sigmoid(\Theta X)\)
• 损失函数 \(cost(\theta) = -ylog(h_\theta(x)) - (1-y)log(1-h_\theta(x))\)
• 代价函数：\(J(\theta) = 1/m * \sum_{i=1}^m cost(\theta)\)