二次型

目录

• 基本概念
• 半正定矩阵的一些性质
• 正定矩阵判定规则
• Reference、

二次型是一种特殊的二次函数，其中只含二次项，在机器学习中常以目标函数的形式出现。

基本概念

• 二次型（Quardic Form），只包含二次项的函数，如：

$$2x^2 - 3 xy + y^2 + z^2$$

二次型可以写成矩阵的形式：$\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x}$，$\boldsymbol{x}^T = (x\ y\ z)^T$。其中 $\boldsymbol{A} = [a]_{ij}$ 是对称矩阵。对于一个二次型，可以快速地求出 $\boldsymbol{A}$ ：平方项 $ax_i^2$ 的系数是矩阵的主对角线元素，交叉乘积项 $ax_ix_j$ 的系数由 $a_{ij}$ 和 $a_{ji}$ 均分。实对称矩阵与二次型一一对应。例子中的 $\boldsymbol{A}$ 为：

$$\left[ \begin{array}{ccc} 2 & -1.5 & 0 \\ -1.5 & 1 & 0\\ 0 & 0 & 1 \end{array} \right]$$

• 正定二次型与正定矩阵
  如果一个二次型对于任意非 $\boldsymbol{0}$ 向量 $\boldsymbol{x}$ 都有：

$$\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} > 0$$

则称该二次型为正定（Positive Definite）二次型，$\boldsymbol{A}$ 为正定矩阵（实对称矩阵与二次型一一对应）。正定矩阵的所有主对角线元素 $a_{ii} > 0$。证明：

根据正定的定义，构造一个第 $i$ 个分量为1，其余分量为0的向量 $\boldsymbol{x}$，则有 $\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} = a_{ii} > 0$
证毕。

• 半正定二次型与半正定矩阵
  如果一个二次型对于任意非 $\boldsymbol{0}$ 向量 $\boldsymbol{x}$ 都有：

$$\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} \geq 0$$

则称该二次型为半正定（Positive Semi-Definite）二次型，$\boldsymbol{A}$ 半为正定矩阵（实对称矩阵与二次型一一对应）。

• 负定二次型与负定矩阵
  如果一个二次型对于任意非 $\boldsymbol{0}$ 向量 $\boldsymbol{x}$ 都有：

$$\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} < 0$$

则称该二次型为负定（Negative Definite）二次型，$\boldsymbol{A}$ 为负定矩阵（实对称矩阵与二次型一一对应）。类似的可以定义半负定矩阵。如果既不正定也不负定，则称为不定。

半正定矩阵的一些性质

1. 若给定任意一个半正定矩阵 $\boldsymbol{A}$ 和一个向量 $\boldsymbol{x}$，则两者相乘得到的向量 $\boldsymbol{y = Ax}$ 与向量 $\boldsymbol{x}$ 的夹角恒小于或等于 $\frac{\pi}{2} (等价于： $\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} \geq 0$);
2. 协方差矩阵是半正定的^[1][2]；
3. 半正定矩阵的行列式是非负的；
4. 两个半正定矩阵的和是半正定的；
5. 非负实数与半正定矩阵的数乘矩阵是半正定的。

正定矩阵判定规则

1. $\boldsymbol{A}$ 的 $n$ 个特征值 $\lambda_1,\ ...,\ \lambda_n$ 均大于0.
   证明

待补充

2. 存在可逆矩阵 $\boldsymbol{P}$ 使得 $\boldsymbol{A} = \boldsymbol{P} \boldsymbol{P}$.
   证明

对于任意非 $\boldsymbol{0}$ 向量 $\boldsymbol{x}$ 有：

$$\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} = \boldsymbol{x}^T \boldsymbol{P}^T \boldsymbol{P} \boldsymbol{x} = (\boldsymbol{Px})^T \boldsymbol{Px}$$

因为 $\boldsymbol{P}$ 可逆，故对于任意非 $\boldsymbol{0}$ 向量 $\boldsymbol{x}$ 有 $\boldsymbol{Px} \neq \boldsymbol{0}$，即 $(\boldsymbol{Px})^T \boldsymbol{Px} > 0$。
证毕。

3. 如果 $\boldsymbol{A}$ 是正定矩阵，则 $\boldsymbol{A}$ 也是正定矩阵.
   证明

$(\boldsymbol{x}^T \boldsymbol{A}^T \boldsymbol{x})^T = \boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} > 0$
证毕。

4. $\boldsymbol{A}$ 的所有顺序主子式（由矩阵前 $k$ 行，前 $k$ 列的元素形成的行列式）均为正.
   证明

待补充

---

未完待续。。。

Reference、

---

1. 浅谈「正定矩阵」和「半正定矩阵」 ↩︎

2. 证明：协方差矩阵是半正定矩阵 ↩︎