凸优化

凸优化

内积

定义在n维实向量集合\(R^n\)上的标准内积为，对任意的\(x,y\in R^n\)，

\[<x,y>=x^Ty=\sum_{i=1}^nx_iy_i \]

采用符号\(x^Ty\)代替\(<x,y>\)。向量\(x\in R^n\)的Euclid范数，或\(l_2\)-范数，定义为

\[\|x\|_2=(x^Tx)^{\frac{1}{2}}=(x_1^2+\cdots+x_n^2)^{\frac{1}{2}} \]

对于任意的\(x,y\in R^n\)，Cauchy-Schwartz不等式是\(|x^Ty|\leqslant \|x\|_2\|y\|_2\)。两个非零向量\(x,y\in R^n\)之间（无符号）的夹角定义为

\[\angle(x,y)=\arccos(\frac{x^Ty}{\|x\|_2\|y\|_2}) \]

其中，我们取\(\arccos(u)\in [0,\pi]\)。

定义在\(m\times n\)实矩阵集合\(R^{m\times n}\)上的标准内积为，对任意\(X,Y\in R^{m\times n}\)

\[<X,Y>=tr(X^TY)=\sum_{i=1}^n\sum_{j=1}^nX_{ij}Y_{ij} \]

上确界和下确界

假定\(C\subseteq R\)。如果对每一个\(x\in C\)成立\(x\leq a\)则称a是C的上界。C的上界组成的集合或者是空集（此时称C无上界），或者等于\(R\)（仅当\(C=\emptyset\)，或者是闭的无限区间\([b,\infty)\)。我们称b为C的最小上界或上确界，用\(\sup C\)表示。我们规定\(\sup \emptyset = -\infty\)，当C无上界时取\(\sup C=\infty\)。当\(\sup C \in C\)时，我们说C的上确界是可达的。

类似地，我们可以定义下界和下确界。如果对每一个\(x\in C\)成立\(a\leq x\)则称a是C的下界。\(C\in R\)的下确界（或最大下界）定义为\(\inf C = -\sup(-C)\)。我们规定\(\inf \emptyset = \infty\)，并在C无下界时，取\(\inf C=-\infty\)。

基本的矩阵-向量运算成本

向量运算

为了完成两个向量\(x,y\in R^n\)的内积运算\(x^Ty\)，我们要先计算乘积\(x_iy_i\)然后将它们相加，这需要\(n\)次乘法和\(n-1\)次加法，或者\(2n-1\)次浮点运算。如上所述，我们只保留主导项，称内机运算需要\(2n\)次浮点运算。标量-向量乘积\(\alpha x\)，其中\(\alpha\in R, x\in R^n\)，耗费\(n\)次浮点运算。两个向量的加法也耗费\(n\)次浮点运算。如果向量\(x\)和\(y\)时稀疏的，这些基本运算可以更快地完成（如果向量用恰当的数据结构存储）。

矩阵-向量相乘

矩阵-向量相乘\(y=Ax\)，其中\(A\in R^{m\times n}\)，成本为\(2mn\)次浮点运算：我们必须算\(y\)的\(m\)个分量，每个分量是\(A\)的行向量和\(x\)的乘积，即两个\(R^n\)向量的内积。利用\(A\)的结构经常可以对矩阵-向量相乘运算进行加速，如果\(A\)是稀疏矩阵，仅有（总数为\(mn\)中的）\(N\)个非零元素，那么只需要\(2N\)次浮点运算就可以确定\(Ax\)。

矩阵-矩阵相乘

矩阵-矩阵相乘\(C=AB\)，其中\(A\in R^{m\times n}\)，\(B\in R^{n\times p}\)，需要\(2mnp\)次浮点运算。因为我们需要计算\(C\)的\(mp\)个元素，而每个元素是两个长度为\(n\)的向量的内积。同样，经常可以利用\(A\)和\(B\)的结构大幅度节省计算量。

符号

一些特殊的集合

符号	意义
\(R\)	实数
\(R^n\)	实\(n-\)维向量（\(n\times 1\)矩阵）
\(R^{m\times n}\)	实\(m\times n\)矩阵
\(R_+,R_{++}\)	非负、正实数
\(C\)	复数
\(C^n\)	复\(n-\)维向量
\(C^{m\times n}\)	复\(m\times n\)矩阵
\(Z\)	整数
\(Z_+\)	非负整数
\(S^n\)	对称\(n\times n\)矩阵
\(S_+^n,S_{++}^n\)	对称半正定、正定\(n\times n\)矩阵

向量和矩阵

符号	意义
\(1\)	所有分量为1的向量
\(e_i\)	第\(i\)个标准基分量
\(I\)	单位矩阵
\(X^T\)	矩阵\(X\)的转置
\(X^H\)	矩阵\(X\)的Hermitian（复共轭）转置
\(tr X\)	矩阵\(X\)的迹
\(\lambda_i(X)\)	对称矩阵\(X\)的第\(i\)大特征值
\(\lambda_{max}(X),\lambda_{min}(X)\)	对称矩阵\(X\)的最大、最小特征值
\(\sigma_i(X)\)	对称矩阵\(X\)的第\(i\)大奇异值
\(\sigma_{max}(X),\sigma_{min}(X)\)	对称矩阵\(X\)的最大、最小奇异值
\(X^+\)	矩阵\(X\)的Moore-Penrose逆或伪逆
\(x\perp y\)	向量\(x\)和\(y\)正交：\(x^Ty=0\)
\(V^{\perp}\)	子空间\(V\)的正交补
\(diag(x)\)	对角元素为\(x_1,\cdots,x_n\)的对角矩阵
\(diag(X,Y,\cdots)\)	对角块为\(X,Y,\cdots\)的分块对角矩阵
\(rank A\)	矩阵\(A\)的秩
\(\mathcal{R}(A)\)	矩阵\(A\)的值域
\(\mathcal{N}(A)\)	矩阵\(A\)的零空间

范数和距离

符号	意义
\(|\cdot|\)	范数
\(|\cdot|_*\)	范数\(|\cdot|\)的对偶范数
\(|x|_2\)	向量\(x\)的Euclid（或\(l_2\)-）范数
\(|x|_1\)	向量\(x\)的\(l_1\)-范数
\(|x|_{\infty}\)	向量\(x\)的\(l_{\infty}\)-范数
\(|X|_2\)	矩阵\(X\)的谱范数（最大奇异值）
\(B(c,r)\)	以\(c\)为中心\(r\)为半径的球
\(\mathbf{dist}(A,B)\)	集合（或点）\(A\)和\(B\)之间的距离

广义不等式

符号	意义
\(x\preceq y\)	向量\(x\)和\(y\)之间的分量不等式
\(x\prec y\)	向量\(x\)和\(y\)之间的严格分量不等式
\(X\preceq Y\)	对称矩阵\(X\)和\(Y\)之间的矩阵不等式
\(X\prec Y\)	对称矩阵\(X\)和\(Y\)之间的严格矩阵不等式
\(x\preceq_{K} y\)	由正常锥\(K\)导出的广义不等式
\(x\prec_{K} y\)	由正常锥\(K\)导出的严格广义不等式
\(x\preceq_{K^*} y\)	对偶广义不等式
\(x\prec_{K^*}y\)	对偶严格广义不等式

拓扑与凸分析

符号	意义
\(\mathbf{card}C\)	集合\(C\)的基数
\(\mathbf{int}C\)	集合\(C\)的内部
\(\mathbf{relint}C\)	集合\(C\)的相对内部
\(\mathbf{cl}C\)	集合\(C\)的闭包
\(\mathbf{bd}C\)	集合\(C\)的边界：\(\mathbf{bd}C=\mathbf{cl}C \setminus \mathbf{int}C\)
\(\mathbf{conv}C\)	集合\(C\)的凸包
\(\mathbf{aff}C\)	集合\(C\)的仿射包
\(\mathbf{K^*}\)	\(K\)的对偶锥
\(I_C\)	集合\(C\)的示性函数
\(S_C\)	集合\(C\)的支撑函数
\(f^*\)	\(f\)的共轭函数

概率

符号	意义
\(\mathbf{E}X\)	随机向量\(X\)的期望值
\(\mathbf{prob}S\)	事件\(S\)的概率
\(\mathbf{var}X\)	标量随机变量\(X\)的方差
\(\mathcal{N}(c,\sum)\)	均值为\(c\)、协方差（矩阵）为\(\sum\)的高斯分布
\(\Phi\)	随机变量\(\mathcal{N}(0,1)\)的累积分布函数

函数和导数

符号	意义
\(f:A\rightarrow B\)	\(f\)是从集合\(\mathbf{dom}f\subseteq A\)到集合\(B\)的函数
\(\mathbf{dom}f\)	函数\(f\)的定义域
\(\mathbf{epi}f\)	函数\(f\)的上境图
\(\nabla f\)	函数\(f\)的导数
\(\nabla ^2 f\)	函数\(f\)的Hessian矩阵
\(Df\)	函数\(f\)的导数（Jacobian）矩阵