最小二乘矩阵推导

      转载请注明出处 http://www.cnblogs.com/gufeiyang

 

      最小二乘是机器学习中常用的方法，比如线性回归。本文首先简单介绍一下过程中用到的线性代数知识，然后介绍最小二乘的矩阵推导。

            定义矩阵$A$, 变量$x$, 变量$b$

                            $\frac{\partial x^{T}a}{\partial x}$ $=a$

                            $\frac{\partial x^{T}Ax}{\partial x}$ $=Ax+A^{T}x$

            如果$A$是对称的，则有  

                                           $Ax+A^{T}x=2Ax$

     

      最小二乘的目标是:

                                           $\min \limits_{x{\in}R} (||Ax-b||_{2})^{2}$　

      这个问题的本质是多变量的的二次优化问题。很容易想到的是对变量进行求导。

      展开

                        $(||Ax-b||_{2})^{2} = (Ax-b)^{T}(Ax-b)$

                                           $=x^{T}A^{T}Ax-b^{T}Ax-x^{T}A^{T}b+b^{T}b$

      因此有

                   $\frac{\partial (||Ax-b||_{2})^{2}}{\partial x}$ $~=~2A^{T}Ax-2A^{T}b$，

       最后得到

                                         $x=(A^{T}A)^{-1}A^{T}b$

       针对线性回归来讲，直接利用最小二乘，没有考虑参数正则化，可能会产生过拟合。可以对参数x正则化处理，一范式正则化为lasso，二范式正则化为岭回归。