1.1 Affine set

1.1 Affine set

符号说明

\(R\): 实数体；

\(R^n\): n维实向量空间；

\(\left\langle x, x^{*}\right\rangle\): 向量\(x\)和\(x^*\)的内积。对于列\(x,\,x^* \in R^n\)， \(\left\langle x, x^{*}\right\rangle=\xi_{1} \xi_{1}^{*}+\cdots+\xi_{n} \xi_{n}^{*}\)；

\(A\): \(m \times n\)实矩阵, 作用到\(x\)时可以看作是 $R^n \to R^m $的一个linear transformation。

\(A^*\): 矩阵\(A\)的转置矩阵（在\(R^n\)空间下）或\(R^m \to R^n\)的adjoint linear transformation，有

\[\left\langle A x, y^{*}\right\rangle=\left\langle x, A^{*} y^{*}\right\rangle \]

\(x \perp y\): 是指\(\langle x, y \rangle = 0\).

\(x \perp L\): 是指对于任意 \(y \in L\), 都有\(\langle x, y \rangle = 0\)。

\(L^\perp\): 满足\(x \perp L\) 的所有\(x\)组成的集合。称为 \(L\) 的 orthogonal complement。

affine set

定义 [line]：\(R^n\)中不同的两个点\(x,\, y\)，称由形如

\[(1-\lambda) x+\lambda y=x+\lambda(y-x), \quad \lambda \in R \]

的点组成的 set 为 line through x and y。

定义 [affine set]： 子集\(M \in R^n\)称为 affine set 是指对于 \(x\in M,\,y\in M\) 以及 \(\lambda \in R\) 都有

\[(1-\lambda) x+\lambda y \in M. \]

空集 $ \emptyset $ 和 \(R^n\)是 affine set，单点集合也是一个特殊的 affine set。从定义可以看出，affine set 包含穿过任意该集合中两点所在的直线。

定理 [1.1]：\(R^n\)中的子空间是包含原点的 affine set。

证：

• \(\Rightarrow\)

任意子空间包含0，并且对于加法和乘法运算是闭的，根据 affine set的定义可知子空间是包含原点的affine set。

• \(\Leftarrow\)

记 \(M\) 为包含 0 的一个 affine set。由定义知，对于任意 \(x\in M\) 及 \(\lambda \in R\)，有

\[\lambda x = (1 - \lambda) 0 + \lambda x \in M, \]

这说明 \(M\) 对于数乘运算是闭的。对于 \(x,y \in M\)，有\(\frac{1}{2}(x+y)=\frac{1}{2} x+\left(1-\frac{1}{2}\right) y \in M, \)
因此

\[x + y = 2 (\frac{1}{2}(x+y)) \in M. \]

这说明 \(M\) 对于加法运算也是闭的，所以 \(M\) 是一个子空间。证毕。

定义 [translate]: 对于 \(M \in R^n\) 和 \(a \in R^n\)，translate of \(M\) by \(a\) 是指集合

\[ M + a = \{x + a \mid x \in M \}. \]

显然，一个 affine set的 translate 也是一个 affine set。

定义 [parallel]: 称 affine set \(M\) 与 affine set \(L\) 是 parallel 的是指对于一些 \(a\) 有 $ M = L + a$。

定理 [1.2]: 任意非空 affine set \(M\) parallel to 唯一的子空间 \(L\)，其中

\[L=M-M=\{x-y \mid x \in M, y \in M\} \]

证：

• \(M\) parallel to 一个唯一的子空间。

反证法。假设存在两个不同的子空间 \(L_1\) 和 \(L_2\) 与 \(M\) parallel。那么 \(L_1\) 和 \(L_2\) 是parallel的，则存在一些 \(a\) 使得 \(L_2 = L_1 + a\), 由于 \(0 \in L_2\), 则 \(-a \in L_1\)，继而 \(a \in L_1\)。所以\(L_2 = L_1 + a \subset L_1\)。类似的，有$L_1 \subset L_2 \(。因此\)L_1 = L_2$。

• \(L\) 与 \(M\) 是 parallel 的。

对于任意\(y \in M\), \(M - y = M + (-y)\) 是\(M\) 的一个包含0点的 translate，由定理1.1可知\(L=M - y\)是一个与 \(M\) parallel 的唯一子空间，又由于\(y\)的随机性，可知 \(L = M - M\)。证毕。

定义 [dimension]: 一个非空 affine set 的 dimension 是指与它 parallel 的子空间的 dimension 。

• \(\emptyset\) 的维度记为 -1。

• dimension 为 0，1，2 的 affine set 分别称为 points， lines， planes。

• \(R^n\) 中的一个 $n -1 $维的 affine set称为一个 hyperlane。

• dim\(L\) + dim\(L^\perp\) = \(n\)。

• $ L = (L^\perp)\perp$。

• \(x \perp L\) 等价于 \(x \perp b_1,\cdots, x \perp b_m\)，其中\(b_1,\cdots,b_m\)是\(L\) 的一组基。

由上可知，\(R^n\) 中的 n-1 维子空间是 1 维子空间的 orthogonal complement。因为 1 维子空间的基中仅含有一个非零向量 \(b\)，因此 n-1 维子空间可以表示为集合 \(\{x\mid x\perp b \}\), \(b\not= 0\)。因此，hyperplane 是集合\(\{x\mid x\perp b \}\)的 translate。有

\[\begin{aligned} \{x \mid x \perp b\}+a &=\{x+a \mid\langle x, b\rangle=0\} \\ &=\{y \mid\langle y-a, b\rangle=0\} \\&=\{y \mid\langle y, b\rangle=\beta\} \end{aligned} \]

其中 \(\beta = \langle a, b\rangle\)。下面的定理进一步叙述这个性质。

定理 [1.3]: 已知 $\beta \in R $ 及非零向量 \(b \in R^n\)，集合

\[H=\{x \mid\langle x, b\rangle=\beta\} \]

是\(R^n\)中的一个 haperplane。并且，每个 hyperplane 都可以表示为类似的形式，对应唯一的 \(b\) 和 \(\beta\) 以及其非零倍数。

• 在定理1.3中，称 \(b\) 为 hyperplane \(H\)
  的 normal。\(H\) 的其他 normal 是\(b\) 的非零倍数。

• hyperplane 例子：\(R^2\)中的 line， \(R^3\)中的plane。

定理 [1.4]: 已知 $b \in R^{m} $ 及实矩阵 \(B \in R^{m\times n}\)，集合

\[M=\{x\in R^m \mid Bx = b\} \]

是\(R^n\) 中的一个 affine set。且每个 affine set 都可以表示成这种形式。

证：

若有\(x,y \in M\)及 \(\lambda \in R\)，对于\(z = (1 - \lambda)x + \lambda y\)都有

\[Bz = (1 - \lambda)Bx + \lambda By = b. \]

则\(z \in M\)。因此 \(M\) 是一个 affine set。

若 \(M\) 是 \(R^n\) 中一个非空 affine set，且\(M\not= R^n\)。记 \(L\) 是与 M parallel 的子空间。设 \(b_1,\cdots,b_m\) 为 \(L^\perp\)的一组基。则有

\[\begin{aligned} L &=\left(L^{\perp}\right)^{\perp}=\left\{x \mid x \perp b_{1}, \ldots, x \perp b_{m}\right\} \\ &=\left\{x \mid\left\langle x, b_{i}\right\rangle=0, \quad i=1, \ldots, m\right\} \\ &=\{x \mid B x=0\} \end{aligned}, \]

其中 \(B\) 是一个 \(m\times n\) 的矩阵，且它的行为 \(b_1,\cdots,b_m\)。由于 M 与 L 是paralle的，因此

\[\begin{align*} M &= L + a \\&= \{x \mid B(x-a) =0\}\\ &= \{x\mid Bx= b\}, \end{align*} \]

其中\(b = Ba\)。对于\(R^n\) 和 \(\emptyset\),可以令\(B\) 为一个0矩阵，而 \(b\) 分别取 0 和 非零。证毕。

由定理1.4，可得

\[\begin{align*} M &=\left\{x \mid\left\langle x, b_{i}\right\rangle=\beta_{i}, t=1, \ldots, m\right\}\\&=\bigcap_{i=1}^{m} H_{t} \end{align*} \]

其中\(b_i\) 是 B 的第 i 行，\(\beta_i\) 是 b 的第 i 个元素，以及

\[H_t = \{x \mid \langle x, b_i \rangle =\beta_t\}. \]

每个\(H_t\) 要么是一个 hyperplane，要么是 \(\emptyset\)， 要么是 \(R^n\)。

推论 [1.4.1]: \(R^n\)中的任意 affine subset是有限个 hyperlane 的 intersection.

• 如果\((b‘_1,\cdots, b'_n)\)是 \(B\) 的列，那么 affine set M 也可以表示为

\[M=\left\{x=\left(\xi_{1}, \ldots, \xi_{n}\right) \mid \xi_{k} b_{1}^{\prime}+\cdots+\xi_{n} b_{n}^{\prime}=b\right\}. \]

• 显然，一组任意affine set 的intersection 是affine 的。因此，对于任意 \(S\subset R^n\)，存在一个唯一的最小 affine set 包含 \(S\)。

定义 [affine hull]: 称包含 \(S\) 的最小 affine set 为 \(S\) 的affine hull，记为 \(\text{aff} S\)。

对于 \(x_i\in S\) 及 \(\lambda_1+\cdots+\lambda_m=1\)，显然有， aff S 包含所有由形如

\[\lambda_1 x_1 + \cdots + \lambda_m x_m, \]

的向量（显然\(m=1\)成立，假设当\(m=i\)成立，当\(m=i+1\)时，利用affine set 的性质很容易证明）。

定义 [affinely independent]：称m + 1 个 point \(b_0,\cdots,b_m\) 是 affinely independent 是指 aff \(\{b_0,\cdots,b_m\}\) 是 m 维的。

• 如果 \(b_0,\cdots,b_m\) 是 affinely independent，则 \(b_1-b_0,\cdots,b_m-b_0\) 是linearly independent。反之亦然。

• 如果存在 m+1 个不全为0的标量 \(a_0,\cdots,a_m\)，使得 \(\sum_{i=0}^m a_ib_i = 0\)，且\(\sum_{i=0}^m a_i = 0\)，则称 \(b_0,\cdots,b_m\) affinely dependent，否则为 affinely independent。

• aff \(\{b_0,\cdots,b_m\} = L + b_0\)，其中\(L =\text{aff} \{0, b_1 -b_0,\cdots, b_m -b_0\}\)。由定理1.1知，\(L\) 是包含 \(b_1 -b_0,\cdots, b_m -b_0\) 的最小子空间。\(L\) 是 m 维的当且仅当\(b_1 -b_0,\cdots, b_m -b_0\) 是 linearly indenpendent。

• 若 \(M = \text{aff} \{b_0, b_1,\cdots, b_m\}\)，则与 \(M\) parallel 的子空间 \(L\) 中的 vector 可以表示为 \(b_1-b_0,\cdots,b_m-b_0\)的 combination。那么 \(M\) 中的 vector 可以表示为

\[x = \lambda_1(b_1 - b_0) + \cdots + \lambda_m (b_m-b_0) + b_0. \]

或

\[x = \lambda_0 b_0 + \cdots + \lambda_m b_m, \]

其中 \(\sum_{i=0}^m \lambda_i = 1\)。系数是唯一的当且仅当 \(b_0,\cdots,b_m\) 是 linearly independent。

定义 [affine transformation]: 称从\(R^n\) 到 \(R^m\) 的单射\(T: x \to Tx\) 是一个 affinely transformation 是指对于任意 \(x,y\in R^n\) 及 \(\lambda\in R\)，都有

\[T((1-\lambda) x+\lambda y)=(1-\lambda) T x+\lambda T y. \]

定理 [1.5]: 从 \(R^n\) 到 \(R^m\) 的 affine transformation 是形如 \(Tx = Ax + b\) 的 mapping T。其中\(A\) 是一个 linear transformation 及 \(a \in R^m\)。

证：

• \(\Rightarrow\)

若 T 是 affine，令 \(a = T0\) 以及 \(Ax = Tx -a\)。由于

\[T((1-\lambda)0+\lambda y)=(1-\lambda)T0+\lambda Ty, \]

可得

\[\begin{align*} A(\lambda y) &= T(\lambda y) - a \\ &= (1-\lambda) a + \lambda Ty - a \\ &= \lambda (Ty - a) \\ &= \lambda Ay. \end{align*} \]

因此，A满足齐次性。下面考虑可加性。

\[\begin{align*} A(x+y) &= 2 A(x/2 + y/2) \\ &= 2 T(x/2 + y/2) -2a \\ &= Tx + Ty - 2a \\ &= Ax + Ay. \end{align*} \]

因此，A是一个linear operator。

• \(\Leftarrow\)

若 A 是线性的，且有 \(Tx = Ax + a\)。那么

\[\begin{align*} &T((1-\lambda)x+\lambda y) \\ =&(1-\lambda)Ax + \lambda Ay + a \\ =&(1-\lambda)Tx + \lambda Ty \end{align*}. \]

因此\(T\) 是affine 的。证毕。

• 若存在affine transformation 的 inverse，则其也是 affine 的。

• 若\(T\) 是从 \(R^n\) 到 \(R^m\) 的一个 mapping，那么对于任意 affine set \(M\in R^n\)，image set \(TM = \{Tx\mid x\in M\}\) 也是一个 affine set。因此

\[\text{aff}(TS) = T (\text{aff} S). \]

定理 [1.6]: 令 \(\{b_0,\cdots,b_m\}\) 和 \(\{b’_0,\cdots,b'_m\}\) 分别在\(R^n\) 中 affinely independent。那么存在从\(R^n\) 到 \(R^n\)的 one-to-one 的 affine
transformation T，使得 \(Tb_i = b'_i\), for \(i = 0,\cdots, m\)。若 \(m=n\), 则 T 是唯一的。

证: 利用linearly indenpendent 和 affinely independent 的关系很容易得到结论。

推论 [1.6.1]: 令\(M_1\) 和 \(M_2\) 为 \(R^n\) 中的两个相同 dimension 的 affine set，存在 one-to-one 从\(R^n\) 到 \(R^n\) 的 affine transformation T，使得 \(TM_1 = M_2\)。

证：任意 m-dimensional 的 affine set 都可以表示成 m+1 个 affinely independent 的 point 的 affine hull，又由于\( \text{aff}(TS) = T (\text{aff} S), \)结合定理1.6，证毕。

设 \(T\) 为一个从 \(R^n\) 到 \(R^m\) 的 affine transformation \(Tx = Ax + a\)，\(T\) 的 graph 是\(R^{n+m}\) 中的一个 affine set， 包含vector z，其中 \(z = (x,y),x\in R^n,y\in R^m\) 满足 \(Bz = b\) with $ b = -a $ 以及 \(B\) 是从 \(R^{n+m}\) 到 \(R^m\) 的 linear transformation \((x,y)\to Ax -y\)。

• \(z = (x, Tx)\).

• 从 \(R^n\) 到 \(R^m\) 的 linear transformation \(x \to Ax\) 的 graph 是 \(R^{m+n}\) 中包含原点的 affine set。由定理1.1可知，它是 \(R^{n+m}\) 的一个子空间 \(L\)。因此

\[L^{\perp}=\left\{\left(x^{*}, y^{*}\right) \mid x^{*} \in R^{n}, y^{*} \in R^{m}, x^{*}=-A^{*} y^{*}\right\} \]

\(z^* = (x^*,y^*) \in L^\perp\) 当且仅当 \(\langle z,z^*\rangle =0\)，其中\(z = (x,y)\) with \(Ax = y\)。即 \((x^*,y^*) \in L^\perp\) 当且仅当对于任意 \(x\in R^n\) 有

\[\begin{align*} 0 &= \langle x, x^*\rangle + \langle Ax, y^*\rangle \\ &= \langle x, x^*\rangle + \langle x, A^*y^*\rangle \\ &= \langle x, x^* + A^* y^*\rangle \end{align*} \]

因此，\(x^*+A^*y^*=0\)，即\(x^* = -A^*y^*\)。

• 令 \(M\) 为 \(R^N\) 中的一个 n-dimensional affine set with \(0 < n < N\)。由定理1.4可知，对于\(x\in M\) with \(x = (\xi_1,\cdots,\xi_N)\)，需满足

\[\beta_{i 1} \xi_{1}+\cdots+\beta_{i N} \xi_{N}=\beta_{i}, \quad i=1, \ldots, k. \]

\(M\) 是 n-dimensional 的说明 coefficient matrix \(B=(\beta_{ij})\) 的 rank 为 \(m=N-n\) 以及它的 nullity 为 \(n\)。那么可以求得这个 linear systerm 的解为 \((\xi_{\bar{1}},\cdots,\xi_{\bar n},\cdots,\xi_{\bar N})\)，并且有

\[\xi_{\overline{n+i}}=\alpha_{i 1} \xi_{\overline{1}}+\cdots+\alpha_{i_{n}} \xi_{\vec{n}}+\alpha_{i}, \quad i=1, \ldots, m \]

这给出了 \(x\in M\)的另一种充要条件。称这个 system 为 Tucker representation of the given affine set。它描述了\(M\) 为一个既定 的从 \(R^n\) 到 \(R^m\) 的affine transformation 的 graph。注意，tucker representation 的表述是有限个（变量不同的order），最多为 \(N!\)。

• 子空间 \(L\) 的Tucker representation 与上类似为

\[\xi_{\overline{n+i}}=\alpha_{i 1} \xi_{\overline{1}}+\cdots+\alpha_{i_{n}} \xi_{\vec{n}}, \quad i=1, \ldots, m \]

那么由上面的讨论知（graph of L is the form \((x,Ax)\)，对应的graph of \(L^\perp\) is the form \((-A^*y,y)\) ），\(L^\perp\)中的元素\(x^*=(\xi_1^*,\cdots,\xi_N^*)\) 可表示为

\[-\xi_{j}^{*}=\xi ^{*}_{\overline{n+1}} \alpha_{1 j}+\cdots+\xi ^{*}_{\overline{n+m}} \alpha_{m j}, \quad j=1, \ldots, n \]

参考文献: Rockafellar, R. Tyrrell. Convex analysis. No. 28. Princeton university press, 1970.