最优化基础（二）

最优化基础（二）^[1]

向量和矩阵范数

在算法的收敛性分析中，需要用到向量和矩阵范数的概念及其有关理论。范数(norm)，是具有“长度”概念的函数。

设\(\mathbb{R}^n​\) 表示实n维向量空间，\(\mathbb{R}^{n\times n}​\) 表示实n阶矩阵全体所组成的线性空间.在这两个空间中，我们分别定义向量和矩阵的范数.

向量范数

向量\(x\in\mathbb{R}^n\)的范数\(\| x \|\)是一个非负数，它必须满足以下条件:

1.非负性: \(\|x\| \geq 0\),且\(\|x\| = 0\)当且仅当\(x=0\)时成立 。

2.齐次性:\(\|\lambda\cdot x\| = |\lambda| \cdot \|x\|,\lambda\in\mathbb{R}\)

3.三角不等式:\(||x+y|| \leq ||x|| + ||y||\)

向量\(x=(x_1,\cdots,x_n)^T\)的\(p\)-范数定义为

\[\|x\|_p=\left ( \sum_{i=1}^n|x_i|^p\right )^{\frac{1}{p}} \]

可以验证\(p\)-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski）不等式。

常用的向量范数有:

1-范数，计算方式为向量所有元素的绝对值之和

\[||x||_1 = \sum_{i=1} ^{n}|x_i | \]

2-范数，计算方式跟欧式距离的方式一致。

\[||x||_2=\left(\sum_{i=1}^n|x_i|^2 \right)^2 \]

\(\infty\)-范数，所有向量元素中的最大值。

\[||x||_{\infty} = \max_i |x_i| \]

\(-\infty\)-范数，所有向量元素中的最小值。

\[||x||_{-\infty} = \min_i |x_i| \]

矩阵范数

矩阵\(A\in\mathbb{R}^{n\times n}\)的范数是一个非负实数，它除了满足跟向量范数相似的三条性质之外，还必须具备乘法性质：

4.\(\|AB\|\leq\|A\|\|B\|,\quad A,B\in\mathbb{R}^{n\times n}\)

如果一矩阵范数\(\|\cdot \|_\mu\) 相对于某向量范数\(\|\cdot \|\)满足下面的不等式

5.\(\|Ax\|\leq\|A\|_\mu\|x\|,\quad x\in\mathbb{R}^n\)

则称矩阵范数\(\|\cdot \|_\mu\) 和向量范数\(\|\cdot \|\)是相容的. 进一步，若存在\(x\neq0\)使成立

\[\|A\|_\mu=\underset{x\neq 0}{max}\frac{\|Ax\|}{\|x\|}=\underset{\|x\|=1}{max}\|Ax\|,\quad A\in\mathbb{R}^{n\times n} \]

则称矩阵范数\(\|\cdot \|_\mu\) 是由向量范数\(\|\cdot \|\)诱导出来的算子范数，简称算子范数，有时也称为从属于向量范数\(\|\cdot \|\)的矩阵范数. 此时向量范数和算子范数通常采用相同的符号\(\|\cdot \|\)。

不难验证，从属于向量范数\(\|x \|_\infty\), \(\|x \|_1\), \(\|x \|_2\) 的矩阵范数分别为

\[\|A\|_\infty=\underset{1\leq i\leq n}{max}\sum_{j=1}{n}|a_{ij}| \]

\[\|A\|_1=\underset{1\leq j\leq n}{max}\sum_{i=1}{n}|a_{ij}| \]

\[\|A\|_2=max\{\sqrt\lambda|\lambda\in\lambda(A^TA)\} \]

它们分别称作行和范数、列和范数和谱范数.

通常按下述方式定义的F-范数:

\[||A||_F={\left( \sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^2 \right)}^{\frac{1}{2}}=\sqrt{tr(A^TA)} \]

向量范数的等价定理以及矩阵范数的等价定理

定理

(1)设\(\|\cdot\|\)和\(\|\cdot\|'\)是定义在\(\mathbf{R}^n\)上的两个向量范数，则存在两个正数\(c_1\), \(c_2\)，对所有\(x\in\mathbb{R}^n\)均成立

\[c_1\|x\|\leq\|x\|'\leq c_2\|x\| \]

(2)设\(\|\cdot\|\)和\(\|\cdot\|'\)是定义在\(\mathbb{R}^{n\times n}\)上的两个矩阵范数，则存在两个正数\(m_1\), \(m_2\)，对所有\(A\in\mathbb{R}^{n\times n}\)均成立

\[m_1\|A\|\leq\|A\|'\leq m_2\|A\| \]

下面，我们利用范数的概念来等价地定义向量序列和矩阵序列的收敛性.

定理:

(1) 设\(\{x^{(k)}\}\)为n维向列序列，\(\|\cdot \|\)为定义在\(\mathbb{R}^n\)上的向量范数，则

\[\lim_{k\to\infty}x^{(k)}=x\Leftrightarrow \lim_{k\to\infty}\|x^{(k)}-x\|=0 \]

(2)设\(\{A^{(k)}\}\)为\(n\times n\)矩阵序列，\(\|\cdot\|\)为定义在\(\mathbb{R}^{n\times n}\) 上的向量范数，则

\[\lim_{k\to\infty}A^{(k)}=A\Leftrightarrow \lim_{k\to\infty}\|A^{(k)}-A\|=0 \]

---

1. 马昌凤. 最优化方法及其Matlab程序设计[M]. 科学出版社, 2010. ↩︎