多类分类与多标签分类

最近在学习KNN算法，因为涉及多标签、多分类等问题，在此做一下总结。

多类分类

一个样本属于且只属于多个类中的一个，一个样本只能属于一个类，不同类之间是互斥的。

多标签

多标签是指预测模型中存在多个y值，具体分为两类不同的情况：

1. 多个预测y值；
2. 在分类模型中，一个样例可能存在多个不固定的类别。

根据多标签问题的复杂性，可以将问题分为两大类：

1. 待预测值之间存在相互的依赖关系；
2. 待预测值之间不存在依赖关系。

多标签分类

又称，多标签学习、多标记学习，不同于多类分类，一个样本可以属于多个类别（或标签），不同类之间是有关联的。

单标签二分类

单标签二分类问题为最为常见的算法，主要指：label的取值只有两种，即每个实例可能的类别只有两种(A or B)；此时的分类算法其实是在构建一个分类的边界将数据划分为两个类别；

常见的二分类算法有：Logistic，SVM，KNN等

 

单标签多分类

单标签多分类问题，主要指：待预测的label标签只有一个，但是label标签的取值可能有多种情况，即每个实例的可能类别有K种(t1,t2,...,tk,k≥3)(t1,t2,...,tk,k≥3)；

常见的单标签多分类算法有：Softmax，KNN等