Machine Learning in Action -- 树回归
前面介绍线性回归，但实际中，用线性回归去拟合整个数据集是不太现实的，现实中的数据往往不是全局线性的
当然前面也介绍了局部加权线性回归，这种方法有些局限
这里介绍另外一种思路，树回归
基本思路，用决策树将数据集划分成若干个子集，然后再子集上再用线性回归进行拟合
决策树是种贪心算法，最简单典型的决策树算法是ID3
ID3，每次都选取最佳特征来进行划分，并且按照特征的取值来决定划分的个数，比如性别，就划分为男，女
在决定最佳特征时，用香农熵作为指标，表示当前的划分是否会让数据更加有序
ID3的局限是，
首先特征只能是离散值
并且划分过于迅速，即分的太细
只能用于分类问题
所以CART（Classification And Regression Trees）决策树算法，更加实用，从名字就可以看出，既可以用于分类问题也可以用于回归问题
其实CART和ID3比，最大的区别就是，在特征划分时，采用二分，这样就很容易处理连续型特征，并且划分速度相对较慢
回归树
下面就看看对于连续型特征的回归树的构建算法，回归树，即叶节点是具体的数值
def binSplitDataSet(dataSet, feature, value): mat0 = dataSet[nonzero(dataSet[:,feature] > value)[0],:][0] mat1 = dataSet[nonzero(dataSet[:,feature] <= value)[0],:][0] return mat0,mat1 def createTree(dataSet, leafType=regLeaf, errType=regErr, ops=(1,4)): feat, val = chooseBestSplit(dataSet, leafType, errType, ops) if feat == None: return val retTree = {} retTree['spInd'] = feat retTree['spVal'] = val lSet, rSet = binSplitDataSet(dataSet, feat, val) retTree['left'] = createTree(lSet, leafType, errType, ops) retTree['right'] = createTree(rSet, leafType, errType, ops) return retTree
首先给出回归树的通用算法，
1. binSplitDataSet
对于数据集的二分函数，这个实现很难理解，我自己实现了一个，
def binSplitDataSet(dataSet, feature, value): m = dataSet[:,feature].T >value m = m.getA()[0] #将numpy.matrix转换为numpy.array mat0 = dataSet[m] mat1 = dataSet[-m] return mat0,mat1
用numpy的boolean indexing很容易实现
2. createTree
Tree的每个节点，划分特征，划分值，左子树，右子树
所以最关键的是chooseBestSplit，这个函数会找出最佳的特征和划分值，当碰到叶节点时，返回叶节点的值
接着给出chooseBestSplit的实现，
def regLeaf(dataSet): return mean(dataSet[:,-1]) def regErr(dataSet): return var(dataSet[:,-1]) * shape(dataSet)[0] def chooseBestSplit(dataSet, leafType=regLeaf, errType=regErr, ops=(1,4)): tolS = ops[0] #最小误差下降值，划分后的误差减小小于这个差值，就不用继续划分 tolN = ops[1] #划分最小size，小于，就不用继续划分 if len(set(dataSet[:,-1].T.tolist()[0])) == 1: #如果集合size为1，不用继续划分 return None, leafType(dataSet) m,n = shape(dataSet) S = errType(dataSet) bestS = inf; bestIndex = 0; bestValue = 0 for featIndex in range(n-1): #对于每个特征 for splitVal in set(dataSet[:,featIndex]): #对训练集中该特征每个可能的值 mat0, mat1 = binSplitDataSet(dataSet, featIndex, splitVal) if (shape(mat0)[0] < tolN) or (shape(mat1)[0] < tolN): continue #划分后集合过小，跳过这个值 newS = errType(mat0) + errType(mat1) if newS < bestS: #如果划分后误差小于bestS，则说明找到新的bestS bestIndex = featIndex bestValue = splitVal bestS = newS if (S - bestS) < tolS: #如果最优划分的减小的误差小于tolS，则不划分，产生叶节点 return None, leafType(dataSet) mat0, mat1 = binSplitDataSet(dataSet, bestIndex, bestValue) if (shape(mat0)[0] < tolN) or (shape(mat1)[0] < tolN): #当最佳划分后，集合过小，也不划分，产生叶节点 return None, leafType(dataSet) return bestIndex,bestValue
chooseBestSplit的参数除了dataset，还有，
leafType，产生叶节点的函数
errType，计算误差的函数
对于理解如何定义回归树的leafType和errType
首先如何理解对于数值的树回归，即回归树，我的理解比较像聚类
所以，leafType产生叶节点的函数，就是求均值，即用聚类中心点来代表这类数据
而errType，即求这组数据的方差，即希望通过决策树划分，可以让靠近的数据被分到一类中
最后这个参数，ops=(1,4))也非常重要，因为它决定了决策树划分停止的threshold值，被称为预剪枝(prepruning)
之所以这样说，是因为它防止决策树的过拟合，所以当误差的下降值小于tolS，或划分后的集合size小于tolN时，选择停止继续划分
当然问题是，这个算法对于这个参数非常的敏感
比如对于上面的数据集，看上去应该是两个叶节点比较合理，如果ops的值设的过小，会划分出很多叶节点
所以对于决策树算法，很重要的一步是需要解决过拟合问题
常用的方法是用剪枝算法（pruning）
def isTree(obj): return (type(obj).__name__=='dict') def getMean(tree): #求出tree上所有节点的均值，剪枝就是用均值的叶节点来替换这个子树 if isTree(tree['right']): tree['right'] = getMean(tree['right']) if isTree(tree['left']): tree['left'] = getMean(tree['left']) return (tree['left']+tree['right'])/2.0 def prune(tree, testData): if shape(testData)[0] == 0: return getMean(tree) if (isTree(tree['right']) or isTree(tree['left'])): #存在子树需要递归 lSet, rSet = binSplitDataSet(testData, tree['spInd'], tree['spVal']) if isTree(tree['left']): tree['left'] = prune(tree['left'], lSet) #递归prune左子树 if isTree(tree['right']): tree['right'] = prune(tree['right'], rSet) #递归prune右子树 if not isTree(tree['left']) and not isTree(tree['right']): #如果都是叶节点，尝试直接剪枝 lSet, rSet = binSplitDataSet(testData, tree['spInd'], tree['spVal']) errorNoMerge = sum(power(lSet[:,-1] - tree['left'],2)) +\ #计算未剪枝时的error sum(power(rSet[:,-1] - tree['right'],2)) treeMean = (tree['left']+tree['right'])/2.0 errorMerge = sum(power(testData[:,-1] - treeMean,2)) #计算剪枝后的error if errorMerge < errorNoMerge: #如果剪枝可以降低error print "merging" return treeMean #返回均值来替代子树，达到剪枝的目的 else: return tree else: return tree
思路比较简单，
如果有子树，那么对该子树进行递归剪枝，从叶节点开始，check将叶节点合并，剪枝是否可以降低error，如果可以则合并掉
模型树（Model tree）
是回归树的扩展，回归树其实相当于用一个具体的值来拟合一个划分，这个太粗暴了
像之前描述的，我们可以用一个线性模型来拟合一个划分
比如对于这样的训练集，如果用简单的回归树去拟合，会拟合出很多的叶节点
而如果用模型树，来拟合，则只会有两个叶节点，每个都是个线性模型，明显更合理，也更容易理解一些
对于模型树，仍然可以直接使用上面的createTree
只不过需要改变一下leafType和errType，
def linearSolve(dataSet): #线性拟合 m,n = shape(dataSet) X = mat(ones((m,n))); Y = mat(ones((m,1))) X[:,1:n] = dataSet[:,0:n-1]; Y = dataSet[:,-1] xTx = X.T*X if linalg.det(xTx) == 0.0: raise NameError('This matrix is singular, cannot do inverse,\n\ try increasing the second value of ops') ws = xTx.I * (X.T * Y) return ws,X,Y #返回拟合结果，之所以需要返回X，Y是用于后面计算error def modelLeaf(dataSet): #叶节点存线性模型的参数ws ws,X,Y = linearSolve(dataSet) return ws def modelErr(dataSet): ws,X,Y = linearSolve(dataSet) yHat = X * ws return sum(power(Y - yHat, 2)) #计算预测值和真实值的平方差
