【2020春】李宏毅机器学习(Classification/高斯分布/逻辑回归vs线性回归)

https://www.bilibili.com/video/av94519857?p=10
https://www.bilibili.com/video/av94519857?p=11

表格最左一列和最上一行

如果用regression的方法去做classification,就会发生右图的情况。

生成式模型

先验概率

高斯分布

通过极大似然,找到高斯分布

然后通过高斯分布,计算类别:

2个特征得到47% acc,7个特征得到54% acc

减少模型复杂度,降低过拟合

共用同个covariance matrix,线性边界

可以选任何概率分布 / 特征独立就是朴素贝叶斯分类

后验概率

sigmoid等价高斯分布

逻辑回归

二分类交叉熵损失函数

两个伯努利分布的交叉熵(一个是ground truth,一个是prediction)

逻辑回归和线性回归对比

逻辑斯蒂回归和线性回归的梯度更新公式一样,区别是:

  • y_hat的值,一个是0/1,一个是real number;
  • output的值,一个是0到1之间,一个是real number;

为什么逻辑斯蒂回归不能和square error?【梯度更新公式不是一样吗????这里没搞明白。】

如果y_hat是1,那么当y_pred=1时,梯度接近0,当y_pred=0是,梯度还是接近0;

如果y_hat是0,也同样情况:

判别式模型/生成式模型

逻辑斯蒂回归是判别式模型;

通过高斯分布拟合模型是生成式模型(做了较多假设/分布等);

下图问题答案:不是同样的w和b

通常判别式模型比生成式模型表现好:

在人类看来很简单的问题,但是生成式模型朴素贝叶斯可能处理不好:


生成式模型的优势:(第三点,例如语音识别)

多分类

softmax:强化max value


逻辑回归的限制:线性模型

可以进行特征变换,但是很难人工找到特征变换公式

将多个逻辑回归模型级联

特征转换

分类

posted @ 2020-08-22 18:33  ZH奶酪  阅读(54)  评论(0编辑  收藏