矩阵分解

QR分解(X=QR)：
1.\(X=[x_1,x_2,\cdots,x_p]\)
2.\(z_1=x_1,z_j = x_j-\sum_{k=0}^{j-1}\gamma_{k-1}\hat{z}_{k-1}\)，(Gram-Schmidt正交化)，则\(X=Z\Gamma\),即\((x_1,x_2,\cdots,x_p) = (z_1,z_2,\cdots,z_p) \begin{pmatrix} 1 & \hat{\gamma}_{12} & \hat{\gamma}_{13} & \cdots & \hat{\gamma}_{1p} \\ 0 & 1 & \hat{\gamma}_{23} & \cdots & \hat{\gamma}_{2p} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1 \\ \end{pmatrix}\)
3.令\(D = \begin{pmatrix} |z_1| & 0 & 0 & \cdots & 0 \\ 0 &|z_2| &0 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & |z_p| \\ \end{pmatrix}\)
4.\(Q=ZD^{-1},R=D\Gamma,X=ZD^{-1}D\Gamma=QR\)

平方根(cholesky)分解
\(A=L^TL\)
定理：若对称正定，则存在一个对角元为正数的下三角矩阵，使得成立。

奇异值(svd)分解
\(M=U\sum V^{*}\)
其中U是m×m阶酉矩阵；Σ是m×n阶非负实数对角矩阵；而V，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。
V的列（columns）组成一套对M的正交"输入"或"分析"的基向量。这些向量是 \(M^{*}M\)的特征向量。\(M^*M=V\sum ^*U^*U\sum V^*=V(\sum ^* \sum )V^*\)
U的列（columns）组成一套对M的正交"输出"的基向量。这些向量是 \(MM^{*}\)的特征向量。\(MM^*=U(\sum \sum ^*)U^*\)
Σ对角线上的元素是奇异值，可视为是在输入与输出间进行的标量的"膨胀控制"。这些是 \(MM^{*}\),及$ M^{}M$的特征值的非负平方根，并与U和V的行向量相对应。