机器学习第三讲

第三讲 分类

1.数学知识回顾

①点到平面距离

 

 

②梯度下降法

 

 

③随机梯度下降法

 

 

学习率的取值要逐步降低

④最大似然估计

 

 

2.分类介绍

另一种典型的有监督学习问题

标签(模型预测值)y为离散值

实际应用举例

新闻主题分类∶科技、教育、社会、体育?
疾病诊断∶根据病人肺部影像图片,诊断是否患 COVID-19肺炎
市场营销︰根据顾客历史购买记录和行为偏好,预测用户是否喜欢新产品
信用评估∶根据客户历史信贷记录,预测贷款是否会违约

3.感知机、支持向量机和逻辑回归

感知机∶ 找到一条直线,将两类数据分开即可。

支持向量机︰ 找到一条直线,不仅将两类数据正确分类,还使得数据离直线尽量远。

逻辑回归: 找到一条直线使得观察到训练集的"可能性"最大。

4.感知机

 

 

优化目标:

 

 

5.支持向量机:

①间隔最大化

 

 

②样本损失函数

 

 

优化目标:

 

 

③非线性:核技巧

6.逻辑回归

 

 

似然函数和负对数似然函数(优化目标)

 

 

7.损失函数

 

 

 

posted @ 2021-01-28 17:01  利威尔  阅读(59)  评论(0编辑  收藏  举报