19. 矩阵对角化-矩阵的正定性及其应用
19.1 矩阵的正定性
设存在二次型：\(f(x)=x^T\cdot A\cdot x\)，其中\(A\)为对称阵
19.1.1 定义
对于\(f(x)\)及\(A\)有：
正定/负定
\[若 f(x)>0且x\neq0，则对称阵A是正定的，且f(x)称为正定二次型
\]
\[若 f(x)<0且x\neq0，则对称阵A是负定的，且f(x)称为负定二次型
\]
半正定/半负定
\[若 f(x)\geq 0，则对称阵A是半正定的，且f(x)称为半正定二次型
\]
\[若 f(x)\leq 0，则对称阵A是半负定的，且f(x)称为半负定二次型
\]
19.1.2 定理
设：
\(f(x)\)的标准型为：
\[f(x)'=k_1y_1^2+k_2y_2^2+...+k_ny_n^2
\]
\(f(x)\)的规范型为：
\[f(x)''=y_1^2+y_2^2+...+y_p^2-y_{p+1}^2-...-y_r^2
\]
则有：
定理1：
\[f(x)为正定二次型 \Leftrightarrow k_i>0(i=1,2,3,...,n)
\]
\[\Leftrightarrow f(x)''=y_1^2+y_2^2+...+y_p^2+y_{p+1}^2+...+y_r^2
\]
\[*同理，f(x)为半正定二次型 \Leftrightarrow k_i\geq 0
\]
定理2：
\[f(x)为正定二次型 \Leftrightarrow xAx^T>0
\]
\[\Leftrightarrow y\Lambda y^T>0 （\Lambda为对角阵）
\]
\[\Leftrightarrow A的特征值\lambda_i >0（i=1,2,3,...,n）
\]
\[*同理可得：
\]
\[f(x)为负定二次型 \Leftrightarrow A的特征值\lambda_i <0（i=1,2,3,...,n）
\]
\[f(x)为半正定二次型 \Leftrightarrow A的特征值\lambda_i\geq0 （i=1,2,3,...,n）
\]
\[f(x)为半负定二次型 \Leftrightarrow A的特征值\lambda_i\leq0 （i=1,2,3,...,n）
\]
19.2 矩阵的正定性在线性回归算法中的应用
设:
存在数值\(y_i,a_j,x_{ij}\)，其中：
\[y_i \in R^1(i=1,2,3,...,N)
\]
\[a_j \in R(j=1,2,3,...,n)
\]
\[x_{ij} \in R^n(i=1,2,3,...,N;j=1,2,3,...,n)
\]
则\(y_i,a_j,x_{ij}\)可对应以下矩阵Y、A、X:
\[Y=
\begin{bmatrix}
y_1\\
y_2\\
y_3\\
...\\
y_N
\end{bmatrix},
A=\begin{bmatrix}
a_1\\
a_2\\
a_3\\
...\\
a_n
\end{bmatrix},
X=
\begin{bmatrix}
x_{11} & x_{12} & x_{13} & ... & x_{1n}\\
x_{21} & x_{22} & x_{23} & ... & x_{2n}\\
x_{31} & x_{32} & x_{33} & ... & x_{3n}\\
&&......\\
x_{N1} & x_{N2} & x_{N3} & ... & x_{Nn}\\
\end{bmatrix}
\]
\(y_i,a_j,x_{ij}\)的关系用矩阵可表示为：\(Y=A\cdot X\)
若现已知存在矩阵\(Y、X、X^{-1}\)，则在n=N的情况下可求得矩阵A：
\[A=Y\cdot X^{-1}
\]
以上内容在《8.矩阵的逆-相关性质&特殊矩阵&算法应用》中已进行过初步分析
现在此基础上，进一步分析\(n\neq N\)的情形下，求解需满足的条件：
19.2.1 N>n的情形下求解需满足的条件
若\(N>n\)，方阵\((x^T\cdot x)\)可作为X的n阶子式，由线性回归算法相关过程可得：
\[（过程略）
\]
\[\tag{1}
a=(x^T\cdot x)^{-1}\cdot x^T\cdot Y
\]
(1)式中，\(x\)为\(1\times n\)的行向量；\((x^T\cdot x)\)为\(n\times n\)的可逆方阵
以下对\((x^T\cdot x)\)的可逆性进行分析：
由向量线性相关性可知：
\[向量组(x\cdot x^T)线性无关 \Rightarrow R(x\cdot x^T)=n
\]
由矩阵的秩相关性质可知：
\[R(x\cdot x^T)=n \quad\Rightarrow \quad|x\cdot x^T|\neq0
\]
\[\Rightarrow (x\cdot x^T)可逆
\]
由上可得，在\(N>n\)的情形下，(1)式成立的条件为：
\[向量组(x\cdot x^T)线性无关
\]
19.2.2 N<n的情形下求解需满足的条件
若\(N<n\)，方阵\((x^T\cdot x)\)不可作为X的n阶子式，故\((x^T\cdot x)\)不可逆
由线性回归算法相关过程可得：
\[（过程略）
\]
\[\tag{2}
a=(x^T\cdot x+\lambda \cdot I)^{-1}\cdot x^T \cdot Y
\]
(2)式中，\(x\)为\(1\times n\)的行向量；\((x^T\cdot x)\)为\(n\times n\)的方阵，需加入\(\lambda \cdot I\)变为可逆矩阵
以下验证\((x^T\cdot x+\lambda \cdot I)\)的可逆性：
由二次型对角化的性质可知，若二次型\(f(x)\)存在，则有：
\[f(x)=a \cdot (x^T\cdot x+\lambda \cdot I) \cdot a^T
\]
\[\qquad\qquad=a\cdot x \cdot (a\cdot x)^T + \lambda \cdot a \cdot a^T
\]
\[上式中若x=O，且a \neq O，\lambda>0则有：
\]
\[f(x)=\lambda \cdot a \cdot a^T > 0
\]
\[\Rightarrow f(x)为正定二次型
\]
由正定二次型相关定理可知：
\[(x^T\cdot x+\lambda \cdot I)的特征值均大于0
\]
由对角阵及特征值相关性质可知：
\[|x^T\cdot x+\lambda \cdot I|>0
\]
由矩阵可逆相关性质可知：
\[(x^T\cdot x+\lambda \cdot I)可逆
\]
由上可得，在\(N<n\)的情形下，(2)式成立的条件为：
\[a\neq 0 \land \lambda >0
\]
浙公网安备 33010602011771号