02 Deep learning神经网络的编程基础 逻辑回归--吴恩达 - 教程

逻辑回归

逻辑回归是一种用于解决二分类任务依据线性回归的变体输出概率值，并启用Sigmoid函数将线性结果映射到[0,1]区间。就是（如预测是否是猫咪等）的统计学习方式。尽管名称中包含“回归”，但其本质

以猫咪预测为例

假设单个样本/单张图片为（$\mathbf{x}$，$\mathbf{y}$），特征向量X =$\mathbf{x}$，则$\hat{y}$即为X的预测值，$\hat{y}$=P（y=$\mathbf{y}$/$\mathbf{x}$）,$\hat{y}$∈（0,1）。
假设特征权重参数为$\mathbf{w}$，是一个n_x维的向量，则有：
$\hat{y}$= $\sigma$（ $w^{\top }$$x$+$b$）
$z$ = $w^{\top }$$x$+$b$
$\hat{y}$=$\sigma （z）$

Sigmoid函数

Sigmoid函数是一种常用的S型激活函数，数学表达式为：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$

机器学习便是学习参数$x$和$b$，使得$\hat{y}$尽可能接近实际值$y$。

符号惯例介绍

定义一个额外特征向量$x_0$ =1，
$\hat{y}$=$\sigma$(${\theta }^T$$x$ )，其中${\theta }_0$充当$b$，其余${\theta }_1$到 ${\theta }_{nx}$充当$\mathbf{w}$

核心特性

1. 输出范围：$ (0,1) $，适合概率映射
2. 单调性：全程可导且导数最大值为$ 0.25$（出现在$x=0$处）
3. 导数特性：${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$，便于梯度计算

Python实现

import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x) ) # 支持向量化计算 print(sigmoid(np.array([-1.0 , 0.0 , 1.0] ) ) ) # 输出：[0.2689, 0.5, 0.7311]

典型应用

1. 逻辑回归中的概率转换
2. 神经网络隐藏层的激活函数
3. 强化学习中的动作选择概率

局限说明

• 深层网络易出现梯度消失（导数值随网络深度指数衰减）
• 输出不以零为中心可能影响优化效率
• 现多被ReLU系列函数替代用于隐藏层