Logistic回归，梯度上升算法理论详解和实现

经过对Logistic回归理论的学习，推导出取对数后的似然函数为

 

        

 

现在我们的目的是求一个向量，使得最大。其中

 

            

 

        

 

对这个似然函数求偏导后得到

 

        

 

根据梯度上升算法有

 

        

 

进一步得到

 

         

 

我们可以初始化向量为0，或者随机值，然后进行迭代达到指定的精度为止。

 

 

 

 

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

 

def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             #convert to NumPy matrix
    labelMat = mat(classLabels).transpose() #convert to NumPy matrix
    m,n = shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = ones((n,1))
    for k in range(maxCycles):              #heavy on matrix operations
        h = sigmoid(dataMatrix*weights)     #matrix mult
        error = (labelMat - h)              #vector subtraction
        weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
    return weights