回收锥

定义1(回收方向)：给定非空凸集\(C\)，如果向量\(d\)满足\(x+\alpha d \in C(\forall x\in C,\forall \alpha \geq 0)\)，则称\(d\)为\(C\)的一个回收方向。换句话说，从\(C\)中一个点沿着回收方向出发，永远不会跑到\(C\)外面。

定义2(回收锥)：非空凸集\(C\)的全部回收向量构成一个包含原点的椎体，称为\(C\)的回收锥，记为\(R_C\)。

定理1(回收锥定理)：令\(C\)为非空凸集合，则：
(1)回收锥\(R_C\)为闭的凸集合;
(2)\(d\in R_C\)当且仅当存在$ x \in C,\(使得\)x+\alpha d \in C(\forall \alpha \geq 0)$

证明：

(1):设\(d_1,d_2\in R_C,\forall \gamma \in [0,1]\)，则对任意\(x\in C,\alpha\geq 0\)

\[x+\alpha[\gamma d_1+(1-\gamma)_2]=(x+\alpha\gamma d_1)+\alpha(1-\gamma)d_2 \]

因为\(x+\alpha\gamma d_1 \in C\)，因此属于\(C\)，所以\(R_C\)为凸集。
设\(\{d_k\}\subset R_C,d_k\rightarrow d\)，则\(\forall x \in C,\alpha \geq 0\)，有\(x+\alpha d_k \in C\)，而$x+\alpha d_k \rightarrow x+\alpha d \in C \((有集合\)C\(的闭性)，所以\)d \in R_C$为闭集。

(2):必要由定义易得；
充分性：由已知，则需要证明\(\forall x_0 \in C,\forall \alpha \geq 0,x_0+\alpha d \in C\)，令\(\alpha d=d_0\)，令\(z_k=x+kd_0\in C(k=1,2,\dots)\).
如果\(x_0=z_k\)(某个\(k\)),则易证。
如果\(x_0\neq z_k\) (\(forall k\)),则令\(d_k=\frac{\Vert d_0 \Vert}{\Vert z_k-x_0 \Vert}(z_k-x_0)\)。则

\[\frac{d_0}{\Vert d_0 \Vert}=\frac{\Vert z_k-x \Vert}{\Vert z_k-x_0 \Vert}\frac{z_k-x}{\Vert z_k-x \Vert}+\frac{x-x_0}{\Vert z_k-x_0 \Vert}=\frac{\Vert z_k-x \Vert}{\Vert z_k-x_0 \Vert}\frac{d_0}{\Vert x_0 \Vert}+\frac{x-x_0}{\Vert z_k-x_0 \Vert}\rightarrow 1*\frac{d_0}{d_0}+0 \]

即\(d_k\rightarrow d_0\)
同时，当\(k\)充分大时，\(\Vert z_k-x_0\Vert\geq \Vert d_0 \Vert\)，则由凸性得：

\[x_0+d_k=x_0+\frac{\Vert d_0\Vert }{\Vert z_k-x_0\Vert}(z_k-x_0)=(1-\frac{\Vert d_0\Vert }{\Vert z_k-x_0 \Vert})x_0+\frac{\Vert d_0\Vert }{\Vert z_k-x_0 \Vert}z_k \in C \]

进一步由闭性得到\(x_0+d_k\rightarrow x_0+\alpha d \in C\)，所以\(d \in R_C\)

定理2(回收锥的性质)：令\(C\)为非空闭凸集
(1)\(R_C\)包含一个非零方向\(\iff\) \(C\)无界
(2)\(R_C=R_{ri(C)}\)
(3)一组闭凸集\(C_i,i\in I\),且\(\bigcap\limits_{i\in I}C_i \neq \emptyset\)，则

\[R_{\bigcap\limits_{i\in I}C_i}=\bigcap\limits_{i\in I}R_{C_i} \]

(4)\(W\subset R^m\)为紧凸集，\(A\in R^{m\times n}\)，令

\[V=\{x:x\in C,AX\in W\}(\text{假设非空}) \]

则其回收锥\(R_V=R_C\bigcap N(A)\)(其中\(N(A)\)为A的零化空间)

证明：只证明(1)，其余任意证明。
\("\Rightarrow"\)是任意证明的
\("\Leftarrow"\):因为\(C\)无界，则有\(\{x_k\}\subset C\)，且\(x_k\rightarrow +\infty\)，则给定任意的\(x\in C\)，有

\[\Vert x_k-x \Vert \rightarrow +\infty \]

不妨设\(\Vert x_k-x \Vert\)单调递增，令\(d_k=\frac{x_k-x}{\Vert x_k-x \Vert}\),并设\(d\)为\(\{d_k\}\)的一个极限点(显然\(d\neq 0\))，以下为方便书写记为\(d_k\rightarrow d\)
则对\(\forall \alpha \geq 0\),只要\(k\)充分大，则有\(\Vert x_k-x \Vert \geq \alpha\)，于是根据凸性

\[x+\alpha d_k=(1-\frac{\alpha}{\Vert x_k-x \Vert})x+\frac{\alpha}{\Vert x_k-x \Vert}x_k\in C \]

再由闭性

\[x_\alpha d_k\rightarrow x+\alpha d \in C \]

根据定理1(2)得到\(d\)为\(C\)的一个非零回收方向。

定义2(线形空间):凸集\(C\)的线形空间\(L_C=R_C\bigcap(-R_C)\)，即\(L_C=\{d:x+\alpha d \in C,\forall x\in C,\forall \alpha \in \mathbb{R}\}\)

定理3(线性空间的性质):令\(C\)为\(\mathbb{R}^n\)上非空闭凸集
(1)\(L_C\)为\(\mathbb{R}^n\)的一个子空间;
(2)\(L_C=L_{ri(C)}\)
(3)一组闭凸集\(C_i(i\in I)\)，且\(\bigcap\limits_{i\in I}C_i\neq \emptyset\)，则

\[L_{\bigcap\limits_{i\in I}C_i}=\bigcap\limits_{i\in I}L_{C_i} \]

(4)\(W\subset R^m\)为紧凸集，\(A\in R^{m\times n}\)，令

\[V=\{x:x\in C,AX\in W\}(\text{假设非空}) \]

则其线形空间\(L_V=L_C\bigcap N(A)\)(其中\(N(A)\)为A的零化空间)

证明：只证明(1)，其余可根据定理2证明。
令\(d_1,d_2\in L_C,\alpha_1,\alpha_2\in \mathbb{R}\)，则

\[\alpha_1d_1+\alpha_2d_2=(\vert \alpha_1 \vert+\vert \alpha_2 \vert)(\frac{\vert \alpha_1 \vert }{\vert \alpha_1 \vert+\vert \alpha_2 \vert}sgn(\alpha_1)d_1+\frac{\vert \alpha_2 \vert }{\vert \alpha_1 \vert+\vert \alpha_2 \vert}sgn(\alpha_2)d_2) \]

由于\(L_C\)为凸锥，任意得到\(\alpha_1d_1+\alpha_2d_2\in L_C\)，于是\(L_C\)为子空间。

定理4(凸集分解)：令\(C\)为\(\mathbb{R}^n\)的非空凸集，则对子空间\(S\subset L_C\)，有

\[C=S+(C\bigcap S^{\perp}) \]

证明：令\(\mathbb{R}^n=S+S^{\perp}\)，则\(\forall x\in C\)，令\(x=d+z(d\in S,z\in S^{\perp})\)，而\(-d\in S \subset L_C\)，于是\(z=x-d \in C\),于是\(z\in C\bigcap S^{\perp}\)，因此\(x=d+z,(d\in S,z\in C\bigcap S^{\perp}\),s所以\(C\subset S+C\bigcap S^{\perp}\)

反之，如果\(x\in \subset S+C\bigcap S^{\perp}\)，则有\(x=d+z,(d\in S,z\in C\bigcap S^{\perp})\)，因此\(z\in C\bigcap S^{\perp} \subset C,d\in S\subset L_C\)，于是\(x=z+d\in C\)，所以\(S+C\bigcap S^{\perp} \subset C\)
综上\(C=S+C\bigcap S^{\perp}\)
注意:如果\(S=L_C\)，则\(C=L_C+C\bigcap L_C^{\perp}\)

上面我们定义了凸集的回收方向，下面我们讨论凸函数的回收方向：

定理5:令\(f:\mathbb{R}^n\rightarrow(-\infty,+\infty]\)为闭真凸函数，水平集\(V_{\gamma}=\{x:f(x\leq\gamma)\}\)，则：
(1):所有非空水平集\(V_{\gamma}\)都有相同的回收锥，记为\(R_f\),且

\[R_f=\{d:(d,0)\in R_{epi(f)}\} \]

其中\(R_{epi(f)\)为\(f\)上图的回收锥。
(2):如果某个非空水平集合\(V_{\gamma}\)为紧集，则所有水平集都是紧集。

证明：(1)对任意的非空水平集\(V_{\gamma}\)，\(\forall d \in R_{V_{\gamma}}\)，则\(\forall x\in V_{\gamma}，\forall \alpha >0\)，有\(x+\alpha d \in V_{\gamma}\)，即\(f(x+\alpha d)\leq \gamma\).
于是，对于\((x,\gamma)\in epi(f)\)，有\((x,\gamma)+\alpha(d,0)=(x+\alpha d,\gamma)\in epi(f)\)
根据定理1(2)得到\((d,0)\in R_{epi(f)}\)，即\(R_{V_{\gamma}}\subset R_{epi(f)}\)

反过来，\(\forall (d,0)\in R_{epi(f)}\)，有\(\forall (x,M)\in epi(f),\forall \alpha \geq 0\)，有\((x+\alpha d,M)\in epi(f)\)，即\(f(x+\alpha d)\leq M\)
而对任意的非空水平集\(V_{\gamma}\)，则\(\forall x\in V_{\gamma}\)，有\((x,\gamma) \in epi(f)\)，则\(f(x+\alpha d)\leq \gamma\)，即\(x+\alpha d \in V_{\gamma}\)，所以\(d\in R_{V_{\gamma}}\)，于是\(R_{epi(f)} \subset R_{V_{\gamma}}\)
综上，\(R_{epi(f)}=R_{V_{\gamma}}:=R_f\)

(2)因为凸集合有界等价于凸集合的回收锥仅包括零向量，于是如果某一个非空水平集为紧集，则其回收锥仅有一个零向量，而所有的非空水平集的回收锥是公共的，于是所有的非空水平集都是有界的。而\(f\)是一个闭真凸函数，于是所有非空水平集合都是闭集，于是所有非空水平集合都是有界闭集，即紧集。

定义3(凸函数的回收锥)：对于闭的真凸函数\(f:\mathbb{R}^n \rightarrow (-\infty,\infty]\)，非空水平集的公共回收锥\(R_f\)称为\(f\)的回收锥。实际上，如果\(d\in R_f\)，则从\(x\in dom(f)\)出发，\(x+\alpha d\)只会使得\(f\)不上升。

定义4(凸函数的不变空间)：同样地，我们可以定义凸函数的不变空间为\(L_f=R_f\bigcap(-R_f)\)。
注意，对于\(d\in L_f\)，\(\forall x \in dom(f),\forall \alpha \geq 0\)，有：

\[f(x+\alpha d) \leq f(x)=f(x-\alpha d +\alpha d)\leq f(x-\alpha d) \]

而\(-d\in L_f\)，因此

\[f(x-\alpha d) \leq f(x)=f(x+\alpha d -\alpha d)\leq f(x+\alpha d) \]

所以

\[f(x)=f(x+\alpha d),\forall x \in dom(f),\forall \alpha \geq 0,\forall d\in L_f \]

即\(d\)为使得\(f\)一直为常值的方向(所以称为不变空间)。

定义5(回收函数)：对于闭的真凸函数\(f:\mathbb{R}^n \rightarrow (-\infty,\infty]\)，如果\((d,w)\in R_{epi(f)}\)，则\(\forall W\geq w,(d,W)\in R_{epi(f)}\)，于是\(R_{epi(f)}\)可以看作一个函数的上图，这为\(r_f\)，即\(epi(r_f)=R_{epi(f)}\)，其中\(r_f\)也是闭凸真函数。

定理6:设闭的真凸函数\(f:\mathbb{R}^n \rightarrow (-\infty,\infty]\)，则\(R_f=\{d:r_f(d)\leq 0\},L_f=\{d:r_f(d)=r_f(-d)=0\}\)
证明：\(R_f=\{d:(d,0)\in R_{epi(f)}\}=\{d:(d,0)\in epi(r_f)\}=\{d:r_f(d)\leq 0\}\)
\(L_f=R_f\bigcap (-R_f)=\{d:r_f(d)\leq 0\}\bigcap \{-d:r_f(d)\leq 0\}=\{d:r_f(d)\leq 0,r_f(-d)\leq 0\}\)
又由凸性得到\(r_f(d)+r_f(-d)\geq 2r_f(0)\)（因为任何\((0,-w)\notin R_{epi(f)},\forall w \geq 0\),所以\(r_f(0)=0\)）,所以

\[L_f=\{d:r_f(d)=r_f(-d)=0\} \]

定理7:设闭的真凸函数\(f:\mathbb{R}^n \rightarrow (-\infty,\infty]\)，则\(\forall x \in dom(f),d \in \mathbb{R}^n\)，有

\[r_f(d)=\mathop{sup}\limits_{\alpha \geq 0}\frac{f(x+\alpha d)-f(x)}{\alpha}=\lim\limits_{\alpha \rightarrow +\infty}\frac{f(x+\alpha d)-f(x)}{\alpha} \]

证明：

\[\begin{align*} (d,v)\in R_{epi(f)} & \iff \forall (x,w)\in epi(f),\forall \alpha \geq 0,(x+\alpha d,w+\alpha v) \in epi(f)\\ & \iff (x,f(x))\in epi(f),f(x+\alpha +d)\leq f(x)+\alpha v\\ & \iff \frac{f(x+\alpha d)-f(x)}{\alpha}\leq v\\ & \iff \mathop{sup}_{\alpha >0} \frac{f(x+\alpha d)-f(x)}{\alpha}\leq v\\ \end{align*} \]

而\((d,r_f(d))\in R_{epi(f)}\)，则

\[\mathop{sup}_{\alpha >0} \frac{f(x+\alpha d)-f(x)}{\alpha}\leq r_f(d) \]

反之，因为\((d,\mathop{sup}_{\alpha >0} \frac{f(x+\alpha d)-f(x)}{\alpha})\in R_{epi(f)}\)(根据上面的等价表达式)，所以\(\mathop{sup}_{\alpha >0} \frac{f(x+\alpha d)-f(x)}{\alpha}\geq r_f(d)\)，于是

\[\mathop{sup}_{\alpha >0} \frac{f(x+\alpha d)-f(x)}{\alpha}=r_f(d) \]

再根据函数的凸性则\(\frac{f(x+\alpha d)-f(x)}{\alpha}\)关于\(\alpha\)在\((0,\infty)\)上单调递增，所以$$r_f(d)=\mathop{sup}_{\alpha >0} \frac{f(x+\alpha d)-f(x)}{\alpha}=\lim\limits_{\alpha \rightarrow +\infty}\frac{f(x+\alpha d)-f(x)}{\alpha}$$