逻辑回归原理介绍

本章会介绍逻辑回归的原理

一、逻辑回归概念

• 逻辑回归概念 Logistic Regression
  • 逻辑回归虽然带有回归二字，单其实是一种分类模型，把线性回归的输出，作为逻辑回归的输入。其只能处理二分类问题
  • 输出是 \((0, 1)\) 之间的值

二、基本思想

1. 利用线性模型 \(f(x) = \boldsymbol{w}^\mathrm{T}\boldsymbol{x} + b\) 根据特征的重要性计算出一个值
2. 再使用 sigmoid 函数将 \(f(x)\) 的输出值映射为概率值
   1. 设置阈值(eg：0.5)，输出概率值大于 0.5，则将未知样本输出为 1 类
   2. 否则输出为 0 类

三、逻辑回归的假设函数

\[h(\boldsymbol{w}) = \text{sigmoid}(\boldsymbol{w}^\mathrm{T}\boldsymbol{x} + b) \]

该函数可以将(负无穷，正无穷)映射到（0，1）
线性回归的输出，作为逻辑回归的输入

四、实例分析

1.逻辑回归预测过程（阈值为0.6）

样本特征值输入	回归（线性计算结果）	逻辑回归结果（Sigmoid概率）	预测结果	真实结果
12.3 20.0 16	82.4	0.40	B	A
9.4 21.1 7.2	89.1	0.68	A	B
34.4 18.7 8.1	80.2	0.41	B	A
10.2 16.0 12.5	81.3	0.55	B	B
5.6 10.0 6.3	90.4	0.71	A	A

计算流程：样本特征值输入 \(\times W \xrightarrow{\text{回归计算}} \text{线性结果} \xrightarrow{\text{sigmoid}} \text{概率值} \xrightarrow{\text{阈值0.6}} \text{类别预测结果}\)

假设得出概率值是属于A的概率值

五、损失函数

\[\text{Loss}(L) = -\sum_{i=1}^{m} \big( y_i \log(p_i) + (1-y_i)\log(1-p_i) \big) \]

\(p_i = \text{sigmoid}(\boldsymbol{w}^\mathrm{T}\boldsymbol{x} + b)\) 是逻辑回归的输出结果

损失函数的工作原理：每个样本预测值有A、B两个类别，真实类别对应的位置，概率值越大越好

1 单个样本的概率表示

假设：有 0、1 两个类别，某个样本被分为 1 类的概率为 \(p\)，则分为 0 类的概率为 \(1-p\)，则每一个样本分类正确的概率为：

\[L= \begin{cases} p & \text{if } y = 1 \\ 1-p & \text{if } y = 0 \end{cases} \]

样本类别为 \(y=1\) 概率是 \(p\)、样本类别 \(y=0\) 概率是 \((1-p)\)，可合成一个式子：

\[L = p^y(1-p)^{1-y} \]

我们对损失函数的希望是：
当样本是1类别，模型预测的 \(p\) 越大越好；
当样本是0类别，模型预测的 \((1-p)\) 越大越好。

---

2、\(n\) 个样本的概率表示

假设：有样本 \([(x_1, y_1), (x_2, y_2) \dots, (x_n, y_n)]\)，\(n\) 个样本，所有样本都预测正确的概率为：

\[P = P(y_1|x_1)P(y_2|x_2)\dots P(y_n|x_n) = \prod_{i=1}^{n} p^{y_i}(1-p)^{1-y_i} \]

1. \(p_i\) 表示每个样本被分类正确时的概率
2. \(y_i\) 表示每个样本的真实类别（0或1）

问题转化：让联合概率事件最大时，估计 \(w\)、\(b\) 的权重参数，这就是极大似然估计。

3、极大似然函数转对数似然函数，取log优化函数：

连乘形式转换为对数加法形式

\[H(L) = \sum_{i=1}^{m} \left( y_i \log(p_i) + (1 - y_i)\log(1-p_i) \right) \]

\[p_i = \frac{1}{1 + e^{-(\boldsymbol{w}^\mathrm{T}\boldsymbol{x}+b)}} \]

最大化问题将其变为最小化问题：

\[\text{Loss}(L) = -\sum_{i=1}^{m} \left( y_i \log(p_i) + (1 - y_i)\log(1-p_i) \right) \]

4、使用梯度下降优化算法，更新逻辑回归算法的权重参数。