误差平方和最小的线性分类器估计

参见《模式识别》（Sergios）第三版 线性分类器--误差平方和估计。例3.3

 

原理：使已知训练特征向量的输出与真实类发生之间的误差平方和最小。得w=(X’X)^-1*X’*y

其中y为真实类属性（两类情况时第i个元素为1或-1），X为矩阵，X的每一行为输入样本向量。

# -*- coding:cp936 -*-
#===============================================================================
# 误差平方和最小的线性分类器估计
#===============================================================================

#===============================================================================
# 题目：
# 二维训练向量：
#     w1：[0.2,0.7],[0.3,0.3],[0.4,0.5],[0.6,0.5],[0.1,0.4]
#     w2: [0.4,0.6],[0.6,0.2],[0.7,0.4],[0.8,0.6],[0.7,0.5]
# 设计一个误差平方和最优线性分类器w1*x1+w2*x2+w0=0.（分类向量为[w1，w2，w0]
#===============================================================================

import numpy as np
import matplotlib.pyplot as plt
X = [[0.2,0.7,1],
     [0.3,0.3,1],
     [0.4,0.5,1],
     [0.6,0.5,1],
     [0.1,0.4,1],
     [0.4,0.6,1],
     [0.6,0.2,1],
     [0.7,0.4,1],
     [0.8,0.6,1],
     [0.7,0.5,1]]
y = [1,1,1,1,1,-1,-1,-1,-1,-1]
X = np.matrix(X)
y = np.matrix(y)
w = (X.T*X).I*X.T*y.T

plt.figure()
X11 = X[0:5,0].A1
X12 = X[0:5,1].A1
plt.scatter(X11,X12,s = 40)
plt.hold(True)
plt.scatter(X[5:,0].A1,X[5:,1].A1,s=40,marker='D',c='r')

ly = np.linspace(0, 1, num = 10)
# w[0]*lx+w[1]*ly+w[2]=0
lx = (-w[2]-w[1]*ly)/w[0]
# print type(lx)
# print type(ly)
plt.plot(lx.A1,ly)

plt.show()

分类器设计结果