Machine Learning in Action -- AdaBoost

初始的想法就是，结合不同的分类算法来给出综合的结果，会比较准确一些
称为ensemble methods or meta-algorithms，集成方法或元算法

集成方法有很多种，可以是不同算法之间的，也可以是同一个算法但不同参数设置之间的，也可以是将数据集分成多分给不同的分类器之间的
总的来说，有3个维度可以进行集成，算法，算法参数和数据集

下面简单介绍两种比较流行的元算法思路，

1. Building classifiers from randomly resampled data: bagging

bagging又称为bootstrap aggregating
想法比较简单，对大小为n的训练集做n次放回随机抽样，形成新的大小仍然为n的训练集
因为是放回随机抽样，新的训练集中可能有重复，某些训练集中的样本中新的训练集中也会没有
用这个方法，产生s个新的训练集，对同一个分类算法可以产生s个不同参数的分类器
使用时，让s个分类器，多数投票表决来决定最终的分类结果

比较典型的bagging算法，如随机森林（random forest）
首先采用bootstrap取样，用产生新的训练集生成决策树，并且用在新训练集中没有抽样到样本作为测试集
如果有S个新的训练集，就会产生S个决策树，所以称为森林
所谓随机，首先新训练集是随机抽样产生的
再者，在训练决策树的时候，每个树节点会随机选择m个特征（m<<M总特征数）
参考，http://zh.wikipedia.org/wiki/%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97

2. Boosting

下面主要介绍Boosting中最流行的AdaBoost算法，这里主要介绍实现，理论参考前一篇

我们使用单层决策树，即decision stump 决策树桩作为弱分类器
所谓decision stump，就是只对一个特征做一次划分的单节点的决策树

这个弱分类器足够简单，但是如果直接使用，基本没用，
比如对于底下这个很简单的训练集，用一个decision stump都无法完全正确分类，试着在x轴或y轴上做一次划分

虽然无法完全正确分类，但是我们需要找到误差最小的那个decision stump
方法很简单，在x和y的取值范围内，以一定的步长，遍历比较误差

先实现stump分类，
dataMatrix，一行表示一个训练样本，每列表示一个特征
dimen，表示哪个特征
threshVal，阀值
threshIneq，对于decision stump，只存在less than或greater than

def stumpClassify(dataMatrix,dimen,threshVal,threshIneq):
    retArray = ones((shape(dataMatrix)[0],1))
    if threshIneq == 'lt': #lt,less than
        retArray[dataMatrix[:,dimen] <= threshVal] = -1.0 #boolean indexing
    else:
        retArray[dataMatrix[:,dimen] > threshVal] = -1.0
    return retArray

所以给定上面的参数，就是可以判断每个样本的分类是1或-1

下面给出求解最优stump分类器的算法，
参数中有个D向量，表示样本weight
因为这里是要找到加权样本误差最小的stump分类器

def buildStump(dataArr,classLabels,D):
    dataMatrix = mat(dataArr); labelMat = mat(classLabels).T
    m,n = shape(dataMatrix)
    numSteps = 10.0; bestStump = {}; bestClasEst = mat(zeros((m,1)))
    minError = inf  #inf，python中表示无穷大
    for i in range(n):    #遍历每个特征
        rangeMin = dataMatrix[:,i].min(); rangeMax = dataMatrix[:,i].max(); #计算该特征上的取值范围
        stepSize = (rangeMax-rangeMin)/numSteps    #计算遍历步长
        for j in range(-1,int(numSteps)+1):   #以步长遍历该特征
            for inequal in ['lt', 'gt']:    #尝试划分的方向，less than或greater than
                threshVal = (rangeMin + float(j) * stepSize)
                predictedVals = stumpClassify(dataMatrix,i,threshVal,inequal) #进行stump分类
                errArr = mat(ones((m,1)))  #初始化误差为1
                errArr[predictedVals == labelMat] = 0  #计算误差，将分对的误差设为0
                weightedError = D.T*errArr   #计算加权误差
                if weightedError < minError: #如果小于minError，说明我们找到更优的stump分类器
                    minError = weightedError
                    bestClasEst = predictedVals.copy()
                    bestStump['dim'] = i
                    bestStump['thresh'] = threshVal
                    bestStump['ineq'] = inequal
    return bestStump,minError,bestClasEst

好，现在可以给出AdaBoost算法的源码，

def adaBoostTrainDS(dataArr,classLabels,numIt=40):
    weakClassArr = []
    m = shape(dataArr)[0]  #样本数
    D = mat(ones((m,1))/m)   #初始化样本weight，所有样本权值相等为1/m
    aggClassEst = mat(zeros((m,1))) #累积分类结果  
    for i in range(numIt):  #生成多少个弱分类器
        bestStump,error,classEst = buildStump(dataArr,classLabels,D) #计算最优的stump分类器
        print "D:",D.T
        alpha = float(0.5*log((1.0-error)/max(error,1e-16))) #1.计算该分类器的权值
        bestStump['alpha'] = alpha
        weakClassArr.append(bestStump)
        print "classEst: ",classEst.T
        expon = multiply(-1*alpha*mat(classLabels).T,classEst)
        D = multiply(D,exp(expon))   #2.更新样本权值
        D = D/D.sum()
        aggClassEst += alpha*classEst   #3.更新累积分类结果
        print "aggClassEst: ",aggClassEst.T
        aggErrors = multiply(sign(aggClassEst) !=   #计算累积分类误差
                    mat(classLabels).T,ones((m,1)))
        errorRate = aggErrors.sum()/m
        print "total error: ",errorRate,"\n"
        if errorRate == 0.0: break   #4.误差为0，算法结束
    return weakClassArr

其中，

1. 计算分类器权值的公式为，

max(error,1e-16)，这个是为了防止error为0

2. 更新样本权值的公式为，

即判断正确时，减小权值，而错误时，增大权值

expon = multiply(-1*alpha*mat(classLabels).T,classEst)
-alpha×classLabel×classEst，即如果分类正确，classLable=classEst，仍然得到-alpha，否则得到alpha

3. aggClassEst

因为我们最终在分类时，是用多个弱分类器的综合结果
所以这里每生成一个弱分类器，我们就把它的分类结果加到aggClassEst上，aggClassEst += alpha*classEst

aggErrors = multiply(sign(aggClassEst) != mat(classLabels).T,ones((m,1)))

用于aggClassEst是float类型，所以先使用sign转换成1，-1，0
然后!= mat(classLabels).T，会产生一个boolean的向量
小技巧，这里为何要乘上一个全1的向量，因为需要把boolean类型转换为int

可以在python试下，

>>> (1 == 1) *1
1

4.最终当所有弱分类器综合误差为0时，就不需要继续迭代了

下面看看，如何用AdaBoost算法进行分类

def adaClassify(datToClass,classifierArr):
    dataMatrix = mat(datToClass)
    m = shape(dataMatrix)[0]
    aggClassEst = mat(zeros((m,1)))
    for i in range(len(classifierArr)):
        classEst = stumpClassify(dataMatrix,classifierArr[i]['dim'],\
                                classifierArr[i]['thresh'],\
                                classifierArr[i]['ineq'])
        aggClassEst += classifierArr[i]['alpha']*classEst
        print aggClassEst
    return sign(aggClassEst)