机器学习8回归问题

对于之前在分类问题中有逻辑回归，而对于这个线性回归以前一般是先讲述，将线性回归的结果通过函数映射到（0，1）区间，再以0.5作为区分形成分类问题。

具体的计算方法，在以前的blogs提到过，参考：http://www.cnblogs.com/fengbing/archive/2013/05/15/3079033.html

下面就直接实战

跟之前一样，第一步导入数据。

def loadDataSet(fileName):     
    numFeat = len(open(fileName).readline().split('\t')) - 1
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat,labelMat

下一步作者给出标准的回归函数

具体代码如下：

def standRegres(xArr,yArr):
    xMat = mat(xArr); yMat = mat(yArr).T
    xTx = xMat.T*xMat
    if linalg.det(xTx) == 0.0:
        print "This matrix is singular, cannot do inverse"
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

这边先计算了xTx的行列式，考虑其是否可逆。对于ws的计算化简一下就是上面的式子，这边x跟θ都是向量可以互换。linalg是NumPy中提供的线性代数的库

运行：

>>> import regression
>>> xArr,yArr = regression.loadDataSet('ex0.txt')
>>> ws = regression.standRegres(xArr,yArr)
>>> ws
matrix([[ 3.00774324],
        [ 1.69532264]])

这样我们的拟合函数就计算出来了.

线性回归有一个问题就是可能出现欠拟合的问题，如果数据欠拟合的话，那就不能取得很好的预测效果，所以引入一些偏差，从而降低预测的均方误差。

局部加权也就是给每个点赋予一定的权重，离预测点靠近的点权重大一些，采用高斯核。

具体代码如下：

def lwlr(testPoint,xArr,yArr,k=1.0):
    xMat = mat(xArr); yMat = mat(yArr).T
    m = shape(xMat)[0]
    weights = mat(eye((m)))
    for j in range(m):                      #next 2 lines create weights matrix
        diffMat = testPoint - xMat[j,:]     #
        weights[j,j] = exp(diffMat*diffMat.T/(-2.0*k**2))
    xTx = xMat.T * (weights * xMat)
    if linalg.det(xTx) == 0.0:
        print "This matrix is singular, cannot do inverse"
        return
    ws = xTx.I * (xMat.T * (weights * yMat))
    return testPoint * ws

线性回归比较容易，在深度学习入门的时候就是线性回归，书的后续的几个例子挺好的，后续介绍。