监督学习的Logistic回归算法


函数原型

\[h_\theta(X)=\frac{1}{1+e^{-\theta^TX}}...称h_\theta(X)为y=1的概率。 \]

决策界限的定义

\(根据函数表达式可知当z>=0时y>=0.5当z<0时y<0.5...z=\theta^TX,y=h_\theta(X)\)

\(故直线z=\theta^TX为决策界限\)

代价函数

线性回归的代价函数为：

\[J(\theta)=2\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^i)-y(x^i))^2 \]

我们另：

\[J(\theta)=\frac{1}{m}\sum_{i=1}^{m}Cost(h_\theta(x^i),y(x^i)) \]

\(Cost为：\)

\[Cost(h_\theta(x^i),y(x^i))=\begin{cases} -log(h_\theta (x))& \text if&y=1\\-log(1-h_\theta (x))& \text if&y=0\end{cases} \]

为什么这样选择？

\(-log(1-h_\theta (x))图像为：\)

其中$$h_\theta(X)=\frac{1}{1+e^{-\thetaTX}}.$$
当\(h_\theta (x)\)无限靠近与0时，代价函数为无穷大。
故\(h_\theta (x)=0表示y=1的概率为0，与条件y=1完全矛盾。故给该算法加大惩罚。\)

当\(h_\theta (x)\)无限靠近与1时，代价函数为0。
故\(h_\theta (x)=1表示y=1的概率为100\%，与条件y=1完全符合。\)

\(-log(1-h_\theta (x))图像为：\)

证明方式与图1类似...

合并代价函数

\[J(\theta)=\frac{1}{m}\sum_{i=1}^m(-ylog(h_{\theta}(x^i))-(1-y)log(1-h_{\theta}(x^i))) \]

使用梯度下降法迭代

公式与线性回归公式相同。
证明参考：https://blog.csdn.net/qq_29663489/article/details/87276708

多分类问题

思想：二分，归类于y=1概率的的一类。
如图，三个函数同时处理，得到\(h_\theta(X)\)，故点归类于\(h_\theta(X)\)大的一类。