机器学习(2)之正规方程组

机器学习(2)之正规方程组

上一章介绍了梯度下降算法的线性回归，本章将介绍另外一种线性回归，它是利用矩阵求导的方式来实现梯度下降算法一样的效果。

1. 矩阵的求导

首先定义表示m×n的矩阵，那么对该矩阵进行求导可以用下式表示，可以看出求导后的矩阵仍然为m×n

这里要用到矩阵迹的特性，trace. 对于一个n阶的方阵（n×n）,它的迹(tr)为对角线元素之和：

1. 对于一个实数，它的迹即为它本身

tr a = a

2. 如果AB是一个方阵，那么

tr AB = tr BA

3. 由此可推导出 

trABC = trCAB = trBCA  

trABCD = trDABC = trCDAB = trBCDA 

4. 假设A 和 B为方阵，a为实数，那么又可以推导出以下的特性：

trA = trA^T

tr(A + B) = trA + trB

tr aA = atrA 

5.对迹进行求导，具有以下特性：

2. Least squares revisited 

现在就可以利用1中矩阵求导的相关知识来重新求解线性回归问题。

假设训练样本：

定义目标集合：

因为，所以

又因为，根据最小二乘规则，代价函数可以写成：

对J(θ)进行求导：

上述推导使用了第1部分的特性。

miniminzes J(θ) 即 

 

3. 代码实例 

python代码实现

# coding=utf-8
#!/usr/bin/python

'''
Created on 2014年9月10日
 
@author: Ryan C. F.

'''

import numpy

#Training data set
#each element in x represents (x0,x1,x2)
#x = [(1,0.,3) , (1,1.,3) ,(1,2.,3), (1,3.,2) , (1,4.,4)]
#y[i] is the output of y = theta0 * x[0] + theta1 * x[1] +theta2 * x[2]
#y = [95.364,97.217205,75.195834,60.105519,49.342380]

def linearRegression(X,Y):
    A=numpy.dot(X.T,X)              #XT*X     X的转置矩阵点乘X
    Ai=A.I                          #(XT*X)-1 求逆
    B=numpy.dot(Ai,X.T)             #(XT*X)-1 XT 点乘
    C=numpy.dot(B,Y.T)              #((XT.X)-1)XT点乘Y
    return C      

if __name__ == "__main__":
    X=numpy.matrix([[1,0.,3],
                   [1,1.,3],
                   [1,2.,3],
                   [1,3.,2],
                   [1,4.,4]]);
    print X.transpose();
    
    Y=numpy.matrix([95.364,97.217205,75.195834,60.105519,49.342380]);
    print Y;
    
    print numpy.dot(numpy.dot(numpy.dot(X.T,X).I,X.T),Y.T)
    
    print (linearRegression(X,Y))

输出结果

X:
[[ 1.  0.  3.]
 [ 1.  1.  3.]
 [ 1.  2.  3.]
 [ 1.  3.  2.]
 [ 1.  4.  4.]]

Y:
[[ 95.364     97.217205  75.195834  60.105519  49.34238 ]]

linear Regression result:
[[ 98.10408328]
 [-13.02877437]
 [  1.13281768]]