Python 支持向量机（svm手写字体识别实战）

一、线性可分svm.LinearSVC()

1. 使用网格搜索法，选择线性可分SVM“类”中的最佳C值

# 导入第三方模块
from sklearn import svm
import pandas as pd
from sklearn import model_selection
from sklearn import metrics

# 读取外部数据
Hw = pd.read_csv(r'Handwritten.csv')
# 数据特征个数

#选取特征列
predict = Hw.columns[:1024]
Train = Hw[predict]
# 打印数据前5行
Train.head()

# 选取标签列
label = Hw[Hw.columns[1024]]
print(label.head())

X_train,X_test,y_train,y_test = model_selection.train_test_split(Train,label,test_size=0.25,random_state=123)

# 使用网格搜索法，选择线性可分SVM“类”中的最佳C值
C=[0.05,0.1,0.5,1,2,5]
parameters = {'C':C}
grid_linear_svc = model_selection.GridSearchCV(estimator = svm.LinearSVC(),param_grid =parameters,scoring='accuracy',cv=5,verbose =1)
# 模型在训练数据集上的拟合
grid_linear_svc.fit(X_train,y_train)
# 返回交叉验证后的最佳参数值
grid_linear_svc.best_params_, grid_linear_svc.best_score_

结果：

({'C': 0.05}, 0.9675775822139879)

2.模型训练与预测

F_svc = svm.LinearSVC(C=0.05)
F_svc.fit(X_train,y_train)
# 模型在测试集上的预测
pred = F_svc.predict(X_test)
# # 模型的预测准确率
metrics.accuracy_score(y_test, pred)

结果：

0.9541666666666667

3.混淆矩阵绘制

# 导入第三方模块
from sklearn import metrics
# 混淆矩阵
cm = metrics.confusion_matrix(y_test, pred)

import seaborn as sns
import matplotlib.pyplot as plt
sns.heatmap(cm,annot = True,cmap = 'GnBu')
plt.xlabel(' Real Lable')
plt.ylabel(' Predict Lable')

结果:

二、非线性svm.SVC（）

1.使用网格搜索法，选择非线性SVM“类”中的最佳C值与核函数

# 使用网格搜索法，选择非线性SVM“类”中的最佳C值
kernel=['rbf','linear','poly','sigmoid']
C=[0.1,0.5,1,2,5]
parameters = {'kernel':kernel,'C':C}
grid_svc = model_selection.GridSearchCV(estimator = svm.SVC(),param_grid =parameters,scoring='accuracy',cv=5,verbose =1)
# 模型在训练数据集上的拟合
grid_svc.fit(X_train,y_train)
# 返回交叉验证后的最佳参数值
grid_svc.best_params_, grid_svc.best_score_

结果：

({'C': 5, 'kernel': 'rbf'}, 0.9856415006947661)

2.模型训练与预测

svm_svc = svm.SVC(C=5,kernel='rbf')
svm_svc.fit(X_train,y_train)

# 模型在测试集上的预测
pred_svc = grid_svc.predict(X_test)
# 模型的预测准确率
metrics.accuracy_score(y_test,pred_svc)

结果：

0.9763888888888889

3.混淆矩阵绘制

from sklearn import metrics
cm = metrics.confusion_matrix(y_test,pred_svc)

import seaborn as sns
import matplotlib.pyplot as plt 
sns.heatmap(cm,annot=True,cmap='PuBu_r')
plt.xlabel(' Real Lable')
plt.ylabel(' Predict Lable')

结果：

三、总结

在手写数字识别上，非线性SVC预测的准确率比线性可分的要高一点，在模型选择时，我们可以根据理论知识适当选取合适模型，然后参数调优。