机器学习实战（二）个人笔记

程序主体：

• 以kNN算法为基础
• 增加了文件数据导入函数
• 增加了可视化操作
• 增加了算法错误率判定

# -*- coding:utf-8 -*-
from numpy import *
import operator
import math
import matplotlib
import matplotlib.pyplot as plt
import numpy as np
import random
import collections

def classify0(inX,dataSet,labels,k):
     dataSetSize = dataSet.shape[0]
     diffMat = tile(inX,(dataSetSize,1)) - dataSet
     sqDiffMat = diffMat**2
     print sqDiffMat
     sqDistances = sqDiffMat.sum(axis = 1)
     distances = sqDistances.argsort()
    # sortedDistIndicies = distances.argsort()
     classCount=collections.OrderedDict()
     for i in range(k):
         voteIlabel = labels[distances[i]]
         classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
     print classCount
     sortedClassCount = sorted(classCount.iteritems(),key = operator.itemgetter(1),reverse = True)
     print sortedClassCount
     return sortedClassCount[0][0]

def file2matrix(filename):
    fr = open(filename)
    arrayOLines = fr.readlines()
    numberOfLines = len(arrayOLines)
    returnMat = zeros((numberOfLines,3))
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        line = line.strip()
        listFromLine = line.split(' ')
        returnMat[index,:] = listFromLine[0:3]
        classLabelVector.append(int(listFromLine[0]))
        index+=1
    return returnMat,classLabelVector

def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals,(m,1))
    normDataSet = normDataSet/tile(ranges,(m,1))
    return normDataSet,ranges,minVals

datingdataMat,datingLabels = file2matrix('/Users/tiemuer/PycharmProjects/kNN/data.txt')
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingdataMat[:,0],datingdataMat[:,1],15.0*array(datingLabels),15.0*array(datingLabels))
plt.show()

def datingClassTest():
    hoRatio = 0.10
    datingdataMat,datingLabels = file2matrix('/Users/tiemuer/PycharmProjects/kNN/data.txt')
    normMat,ranges,minVals = autoNorm(datingdataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    n = []
    for i in range(numTestVecs):
       n.append(int(random.randint(0,m)))
    for i in n:
        classifierResult = classify0(normMat[i,:],normMat[:m,:],datingLabels[:m],3)
        print "the classifier cameback with %d,the real answer is:%d"%(classifierResult,datingLabels[i])
        if(classifierResult!=datingLabels[i]):errorCount+=1.0
    print "the total error rate is %f"%(errorCount/float(numTestVecs))


datingClassTest()

 

算法改进

• 由于需要不同，书籍上的代码并不能很好契合程序，故作出一些改进。
• 文件数据导入函数中classLabelVector.append(int(listFromLine[0]))，其中把listFromLine[-1]变为[0]，因为本程序用每组数据第一个位置来做label，这样才能与后面寻找label契合。
• 本程序选取数据集中随机10%的数据来与原数据集进行匹配，因为数据集不够，且数据集完全随机生成，进而发现问题：对于小数据来说很难做到错误率低。主要原因在于对于相近邻的数据统计次数过少，且普通字典是无序排放，导致不能选出最契合的label，本人针对此问题选用有序字典进行label存储，可以进一步改善算法准确率。
• 上一篇文章的kNN算法需要改动，删掉本程序中注释掉的代码（多进行了一次排序导致程序混乱，得不到期望结果）。
• 由于各个数据项特征值大小不同，而它们在程序中的地位同等，故用autoNorm()函数来调整大小：（data-mindata）／（maxdata-mindata）把特征值统一到0-1之间，更具参考性。

初学python，记录学习笔记

• 字典访问需要key，而key的获取可以用dic.keys()来得到一个list
• 对字典进行排序时，利用迭代器方法sortedClassCount = sorted(classCount.iteritems(),key = operator.itemgetter(1),reverse = True)，reverse = True 进行升序排序，返回的不是字典，而可以通过下标访问
• open（filename）打开文件，读文件用readlines()，下面记录下read(),readline(),readlines()函数的区别：
  

1. read():读取整个文件，文件内容存放于字符串变量中
2. readline():读取文件一行，存放于字符串对象中，比readlines()慢许多
3. readlines():读取整个文件，自动把文件分成一个行的列表

• 普通字典是无序的，故不能利用存放次序来寻找字典元素，可以借助collections库中的collections.OrderedDict()来创建一个有序字典。

• strip() 方法用于移除字符串头尾指定的字符（默认为空格）。例如：str.strip([chars])

• split()通过指定分隔符对字符串进行切片，如果参数num 有指定值，则仅分隔 num 个子字符串。例如：split(' ',1)仅对于空格分割一次。

• 这里不整理可视化作图操作，回头找个时间专门做个整理。