机器学习第三讲

第三讲 分类

1.数学知识回顾

①点到平面距离

 

 

②梯度下降法

 

 

③随机梯度下降法

 

 

学习率的取值要逐步降低

④最大似然估计

 

 

2.分类介绍

另一种典型的有监督学习问题

标签（模型预测值)y为离散值

实际应用举例

新闻主题分类∶科技、教育、社会、体育?
疾病诊断∶根据病人肺部影像图片，诊断是否患 COVID-19肺炎
市场营销︰根据顾客历史购买记录和行为偏好，预测用户是否喜欢新产品
信用评估∶根据客户历史信贷记录，预测贷款是否会违约

3.感知机、支持向量机和逻辑回归

感知机∶ 找到一条直线，将两类数据分开即可。

支持向量机︰ 找到一条直线，不仅将两类数据正确分类，还使得数据离直线尽量远。

逻辑回归: 找到一条直线使得观察到训练集的"可能性"最大。

4.感知机

 

 

优化目标：

 

 

5.支持向量机：

①间隔最大化

 

 

②样本损失函数

 

 

优化目标：

 

 

③非线性：核技巧

6.逻辑回归

 

 

似然函数和负对数似然函数（优化目标）

 

 

7.损失函数