多元线性回归代价函数的正规方程解

正规方程解

在多元线性回归的梯度下降法中，我们得到了其代价函数:

\[J(\theta)=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2 \]

其中\(h_{\theta}(x^{(i)})=\theta_{0}x_{0}^{(i)}+\theta_{1}x_{1}^{(i)}+...+\theta_{n}x_{n}^{(i)}\)，\(x_{0}^{(i)}=1\)，\(m\)为样本个数，\(n\)为样本的特征数
记

\[Y=\begin{bmatrix} y^{(1)}\\ y^{(2)}\\ :\\ :\\ y^{(m)} \end{bmatrix},\theta=\begin{bmatrix} \theta_{0}\\ \theta_{1}\\ :\\ :\\ \theta_{n} \end{bmatrix}\]

令

\[X=\begin{bmatrix} x_{0}^{(1)}& x_{1}^{(1)}& ..& ..& x_{n}^{(1)}\\ x_{0}^{(2)}& x_{1}^{(2)}& ..& ..& x_{n}^{(2)}\\ :& :& .& & :\\ :& :& & .& :\\ x_{0}^{(m)}& x_{1}^{(m)}& ..& ..&x_{n}^{(m)} \end{bmatrix}\]

则\(J(\theta)=\frac{1}{2m}||X\theta-Y||^2\)，其中\(||X\theta-Y||\)为向量\(X\theta-Y\)的模。
(设向量\(X\theta-Y=(a_{1},a_{2},...,a_{n})^T\)，则\(J(\theta)=(a_{1})^2+(a_{2})^2+...+(a_{n})^2=||X\theta-Y||^2\))
又\(||X\theta-Y||^2=(X\theta-Y)^T(X\theta-Y)=(\theta^TX^T-Y^T)(X\theta-Y)\)
将\((\theta^TX^T-Y^T)(X\theta-Y)\)展开，得

\[\theta^TX^TX\theta-\theta^TX^TY-Y^TX\theta+Y^TY \]

由于\(\theta^T\)为\(1\times (n+1)\)矩阵，\(X^T\)为\((n+1)\times m\)矩阵，\(Y\)为\(m\times1\)矩阵，因此\(\theta^TX^TY\)为一个数，又\(Y^TX\theta\)为其转置，因此也为一个数，且和\(\theta^TX^TY\)相等。要求\(J(\theta)\)的极值，则需要对\(\theta\)求导并令其为\(0\)，由于\(\frac{1}{2m}\)为常数，因此可以忽略，用\(J(\theta)\)对\(\theta\)求导等价于用\(||X\theta-Y||^2\)对\(\theta\)求导
令\(\varepsilon=||X\theta-Y||^2\)，则

\[\frac{\partial \varepsilon}{\partial \theta}=\frac{\partial (\theta^TX^TX\theta-2\theta^TX^TY+Y^TY)}{\partial \theta}=0 \]

由于\(Y^TY\)与\(\theta\)无关，故求导为\(0\)。
故

\[\frac{\partial \varepsilon}{\partial \theta}=\frac{\partial (\theta^TX^TX\theta)}{\partial \theta}-2\frac{\partial \theta^TX^TY}{\partial \theta}=0 \]

对于第一项\(\theta^TX^TX\theta\)，令\(X^TX=A\)，显然\(A\)为对称矩阵，则\(\theta^TX^TX\theta=\theta^TA\theta\)
设

\[A=\begin{bmatrix} a_{00}& a_{01}& ..& ..& a_{0n}\\ a_{10}& a_{11}& ..& ..& a_{1n}\\ :& :& .& &: \\ :& :& & .& :\\ a_{n0}& a_{n1}& ..& ..&a_{nn} \end{bmatrix}\]

则\(\theta^TA\theta=(\sum_{i=0}^{n}a_{i0}\theta_{i})\theta_{0}+(\sum_{i=0}^{n}a_{i1}\theta_{i})\theta_{1}+...+(\sum_{i=0}^{n}a_{in}\theta_{i})\theta_{n}\) (后面对\(\theta\)求偏导可根据这个式子来求，注意\(a_{ij}=a_{ji}\))
即

\[\theta^TA\theta=\sum_{i=0}^{n}\sum_{j=0}^{n}a_{ij}\theta_{i}\theta_{j} \]

因此

\[\frac{\partial (\theta^TX^TX\theta)}{\partial \theta}=2X^TX\theta \]

而

\[\frac{\partial \theta^TX^TY}{\partial \theta}=X^TY \]

故

\[\frac{\partial \varepsilon}{\partial \theta}=2X^TX\theta-2X^TY=0 \]

故

\[\theta=(X^TX)^{-1}X^TY \]

---

\(X^TX\)不可逆时的解决办法

由于\(X^TX\)为\((n+1)\times (n+1)\)矩阵，若\(X^TX\)不可逆，则有两种可能：

• \(r(X^TX)\le m<n+1\)，即特征数大于样本数，此时可删除部分特征或使用正则化
• \(r(X^TX)<n+1\le m\)，即两个或多个特征线性相关，应删除其中线性相关的多余的特征