Machine Learning - 15 算法比较

比较不同算法的准确度，选择合适的算法，在处理机器学习的问题时是非常重要的。

本章内容包括：

• 如何设计一个实验来比较不同的机器学习算法
• 一个可以重复利用的，用来评估算法性能的模版
• 如何可视化算法的比较结果

---

选择最佳的机器学习算法

 

每种模型都有各自适应处理的数据特征，通过交叉验证等抽样验证方式可以得到每种模型的准确度，并选择合适的算法。通过这种评估方式，可以找到一种或两种最适合问题的算法。

当得到一个新的数据集时，应该通过不同的维度来审查数据，以便于找到数据的特诊，这种方法也适用于算法模型。同样需要从不同的维度，用不同的方法来观察机器学习算法的准确度，并从中选择一种或两种对问题最有效的算法。

一种比较好的方法是通过可视化的方式来展示平均准确度、方差等属性，以便于更方便地选择算法。

 

最合适的算法比较方法是：使用相同的数据、相同的方法来评估不同的算法，以便得到一个准确的结果。

下面使用同一个数据集来比较六种分类算法：

• 逻辑回归（LR）
• 线性判别回归（LDR）
• K近邻（KNN）
• 分类与回归树（CART）
• 贝叶斯分类器
• 支持向量机（SVM）

继续使用Pima Indians数据集来介绍算法比较。数据集为二分类数据集，结果只有两个分类结果；用来训练算法模型的数据是八种全部由数字构成的属性特征值。采用10折交叉验证类分离数据，并且采用相同的随机数分配方式来确保所有的算法都是用相同的数据集。

为了便于整理结果，给每一种算法设定一个短名字。

#算法比较
from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.linear_model import LogisticRegression
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

from sklearn.naive_bayes import GaussianNB
from matplotlib import pyplot

filename='/home/aistudio/work/pima_data1.csv'
names=['preg','plas','pres','skin','test','mass','pedi','age','class']
data=read_csv(filename,names=names)
#将数据分为输入数据和输出数据
array=data.values
x=array[:,0:8]
y=array[:,8]
num_folds=10
seed=7
kfold=KFold(n_splits=num_folds,random_state=seed)

models={}
models['LR']=LogisticRegression()
models['LDA']=LinearDiscriminantAnalysis()
models['KNN']=KNeighborsClassifier()
models['CART']=DecisionTreeClassifier()
models['SVM']=SVC()
models['NB']=GaussianNB()

results=[]
for name in models:
    result=cross_val_score(models[name],x,y,cv=kfold)
    results.append(result)
    msg='%s: %.3f (%.3f)' % (name,result.mean(),result.std())
    print(msg)

#图表显示
fig=pyplot.figure()
fig.suptitle('Algorithm Comparison')
ax=fig.add_subplot(111)
pyplot.boxplot(results)
ax.set_xticklabels(models.keys())
pyplot.show()

执行结果给出了每种算法的平均准确度和标准方差：

LR: 0.770 (0.048)
LDA: 0.773 (0.052)
KNN: 0.727 (0.062)
CART: 0.674 (0.060)
SVM: 0.651 (0.072)
NB: 0.755 (0.043)
同时也可以通过箱线图展示算法的准确度，以及10折交叉验证中每次验证的分布状况。