对偶空间
从对偶空间看“矩阵的转置”
从向量空间的角度看“转置”似乎是一件神奇的事，无论从行向量还是从列向量的角度来看，转置的操作都拆散了原先的向量的结构。但转置前后的矩阵在性质上非常相近的。我们希望从线性映射的角度来理解转置。
对偶空间，对偶映射，线性泛函，对偶基的概念
我们知道一个线性映射\(T:V \to W\)对应着一个矩阵\(A_T\)（在特定的基下），那么什么样的映射对应着\(A_T^\top\)？结论是，\(T\)的对偶映射对应着\(A_T^\top\)。
\(T\)的对偶映射是从\(W\)的对偶空间（记为\(W'\)）到\(V\)的对偶空间（记为\(V'\)）的某个线性映射（记为\(T'\)），之所以称为“某个”，是因为从\(V \to W\)的映射\(T\)有很多，我们将会看到\(W' \to V'\)的映射\(T'\)也有很多，而正是\(T\)的选取决定了\(T'\)。
对偶空间是一个向量空间，其中的每个“向量”是一个线性泛函。线性泛函是指一个\(V \to \R\)的线性映射，本质上它不过是一个从某向量空间到一维空间（实数）的线性映射。我们知道把从某个空间到某个空间的所有线性映射收集到一起也构成一个向量空间，其中的“向量”是映射。所以我们把所有从\(V \to \R\)的泛函收集起来就构成了一个向量空间\(T(V,\R)\)，这就是\(V\)的对偶空间，记作\(V'\)。
例如，\(L(x,y,z)=3x+4y-5z\)就是一个线性泛函，它属于\(\R^3\)的对偶空间。由于它是线性的，我们发现其实只要系数\((3,4,5)\)发生了变化它就是一个全新的泛函了，它依然属于\(\R^3\)的对偶空间。进一步我们发现，这三个数可以任意自由地变化，因此泛函的个数应该和\(\R^3\)的向量一样多，\(\R^3\)本身和\(\R^3\)的对偶空间之间有一一对应的关系，这从某种意义上暗示我们，一个空间和它的对偶空间确实是“对偶”的。
为了更精确的描述这件事，其实我们要做的就是确定对偶空间这个向量空间的维数。确定维数也就必须定义“基”。还是要记得，此时基向量是“基泛函”，我们称它“对偶基”。由于我们定义过线性映射的加法和乘法（\((T_1+T_2)(v)=T_1(v)+T_2(v)\)，\((cT)(v)=c(T(v))\)），只需要自然地沿用普通向量线性独立和张成的定义，就可以定义出对偶基。而关键在于，如何找到一组对偶基，以及\(V\)的对偶基与\(V\)本身的一组基\(\{v_i\}\)有什么联系。
如果我们能找到\(n\)个\(V'\)里的泛函\(L_i\)，使得：对于\(L_1\)，在这\(n\)个\(v_i\)里只有\(L_1(v_1)=1\)，其余都为\(L_1(v_j) =0\)；对于\(L_2\)，只有\(L_2(v_2)=1\)其余都是\(L_2(v_j)=0\)……依此类推。这样可以验证这组\(\{L_i\}\)是一组对偶基，记为\(L^{\bar{v}}\)。可见，确定\(V\)的一组基就可以相应地找到一组对偶基。
设\(F=c_1L_1+\cdots+c_nL_n\)。证明线性独立性即证\(F=0\)当且仅当\(c_i\)恒等于0。（\(F=0\)表示\(F(v)=0\)恒成立，即这个“函数”是恒等于0的。）由于基向量的映射决定整个线性映射，因此\(F=0\)当且仅当\(F(v_i)=0\)恒成立。根据定义，\(F(v_i)=c_iL_i=c_i\)，所以\(F(v_i)=0\)当且仅当\(c_i=0\)。所以这要求\(c_i=0\)恒成立。
对于\(V'\)中的任何一个泛函\(L\)，我们设\(L(v_i)=d_i\)，这样我们就知道了\(L\)的全部性质。那么构造一个泛函\(L'=d_1L_1+\cdots+d_nL_n\)，这就使得它满足了\(L'(v_i)=d_i=L(v_i)\)，由于基的映射决定整个映射，所以一定有\(L'=L\)。也就是说任何一个\(V'\)中的泛函都可以通过线性组合的方式表示出来，因此也就是说通过\(L_1,\cdots,L_n\)的线性组合，可以张出整个\(V'\)。
综上\(L_i\)是\(V'\)的一组基。
现在来回答\(T:V \to W\)的对偶映射\(T':W' \to V'\)是如何由\(T\)决定的。定义\(T'\)就是对于任意的\(L \in W'\)定义\(T'(L)\)，其中\(T'(L)\)是\(V'\)中的一个泛函。而定义\(T'(L)\)就是对于任意\(v \in V\)定义\(T'(L)(v)\)。我们定义：\(\forall v \in V, T'(L)(v)=L(T(v))\)。
现在可以验证\(T'\)确实是一个线性映射。\(T'(L_1+L_2)=T'(L_1)+T'(L_2)\)，因为\(T'(L_1+L_2)(v)=(L_1+L_2)(T(v))=L_1(T(v))+L_2(T(v))\)\(=T'(L_1)(v)+T'(L_2)(v)\)；\(T'(cL)=c(T'(L))\)，因为\(T'(cL)=(cL)(T(v))=c(L(T(v)))=c(T'(L)(v))\)。
转置
下面就来看对偶映射对应的矩阵。对偶映射的矩阵是容易定义的，因为仅仅只需要把泛函“真的看作向量”。我们知道线性映射的矩阵是取决于基的选取的，那么我们就可以认为对偶映射的矩阵是依赖于我们的对偶基的。
设\(T\)的矩阵为\(A\)，\(T'\)的矩阵为\(B\)。我们知道成立\(T\left(\boldsymbol{v}_{i}\right)=A_{1 i} \boldsymbol{w}_{1}+\cdots+A_{mi} \boldsymbol{w}_{m}\)，那么\(B\)就可以定义为\(T^{\prime}\left(L_{i}^{\bar{w}}\right)=B_{1i} L_{1}^{\bar{v}}+\cdots+B_{n i} L_{n}^{\bar{v}}\)。把\(v_j\)代入此式得到\(T'(L^{\bar{w}}_i)(v_j)=B_{1i} L_{1}^{\bar{v}}(v_j)+\cdots+B_{n i} L_{n}^{\bar{v}}(v_j)=B_{ji}\)；而根据对偶映射的定义却得到\(T'(L^{\bar{w}}_i)(v_j)=L^{\bar{w}}_i(T(v_j))=L^{\bar{w}}_i(A_{1 j} \boldsymbol{w}_{1}+\cdots+A_{mj} \boldsymbol{w}_{m})\)\(=A_{1j}L^{\bar{w}}_i(w_1)+\cdots+A_{mj}L^{\bar{w}}_i(w_m)=A_{ij}\)，因此\(B_{ij}=A_{ij}\)恒成立，所以就有\(A^\top=B\)。
从对偶空间看“矩阵的行秩等于列秩”
我们知道矩阵的列秩（或者行秩）是列空间的维数。要证行秩等于列秩即证\(\dim(C(A))=\dim(C(A^\top))\)。
线性映射的矩阵是针对坐标来描述的，由于坐标与向量是双射的，不难知道\(\dim(\text{Im}(T))=\dim(C(A_T))\)。我们已经充分认识到，转置就是对偶映射的矩阵，因此我们想证明\(\dim(C(A_T))=\dim(C(A_T^\top))\)，只需证明\(\dim(\text{Im}(T))=\dim(\text{Im}(T'))\)。
要证明这个结论，还需要更深入地了解对偶映射。重点是，对偶映射的image和kernel有什么特殊性。对于\(T:V \to W\)，根据定义\(\text{Ker}(T')\)是指\(W'\)中所有满足\(T'(L)=0\)的\(L\)的集合，也即\(L(T(v))=0\)对\(\forall v \in V\)成立，也就是说\(\text{Im}(T)\)里的向量经过\(\text{Ker}(T')\)中任意泛函的映射后都得到0。
这样的描述过于繁琐，方便起见，我们一般化地假设\(V\)中有一个子空间\(U\)，把所有满足\(\forall u \in U, L(u)=0\)的\(L \in V'\)收集到一起，经过验证这是一个向量空间，这个空间是\(V'\)的子空间，我们称这个子空间为子空间\(U\)对应的annihilator，记为\(U^0\)。在\(V\)中确定\(U\)，就能对应地在对偶空间\(V'\)中确定\(U^0\)。
我们将会看到，\(\text{Ker}(T')\)现在就可以被方便地描述为\((\text{Im}(T))^0\)（也会看到\(\text{Im}(T')\)可以被方便地描述为\((\text{Ker}(T'))^0\)）。首先\(\text{Im}(T)\)是\(W\)的一个子空间。\(\forall L \in W'\)，如果\(L\in (\text{Im}(T))^0\)，也即\(L\)满足对于\(\text{Im}(T)\)中的向量\(T(v)\)恒成立\(L(T(v))=0\)，就说明\(T'(L)=0\)，也即\(L \in \text{Ker}(T')\)；反过来，如果\(L \in \text{Ker}(T')\)，也即\(T'(L)=0\)，就说明\(\forall v \in V\)成立\(L(T(v))=0\)，也即\(\forall u \in \text{Im}(T),L(u)=0\)，因此\(L \in (\text{Im}(T))^0\)。综上\(\text{Ker}(T')=(\text{Im}(T))^0\)。
有一个重要的结论，\(\dim(U^0)=\dim(V)-\dim(U)\)。这个结论直接回答了annihilator的维数。
Pf:
定义\(T_{\text{incl}}:U \to V\)满足\(\forall u \in U,T_{\text{incl}}(u)=u\)。根据The Rank-Nullity Theorem，一定有\(\dim(V')=\dim(\text{Im}(T'_{\text{incl}}))+\dim(\text{Ker}(T'_\text{incl}))\)。根据Steinitz Exchange Lemma，我们一定可以找到\(V\)的一组基\(u_1,\cdots,u_m,v_{k_1},\cdots,v_{k_{n-m}}\)，使得\(v_1 \cdots v_m\)是刚好是\(U\)的一组基。
\(\forall L \in U'\)，存在一个\(V\)中的泛函\(L_V\)满足\(i \leq m\)时\(L_V(v_i)=L(v_i)\)。于是\(\forall u \in U\)，\(T'_{\text{incl}}(L_V)(u)=L_V(T_{\text{incl}}(u))=L_V(u)=L_V(c_1v_1+\cdots+c_mv_m)\)\(=c_1L_V(v_1)+\cdots+c_mL_V(v_m)=c_1L(v_1)+\cdots+c_mL(v_m)\)\(=L(c_1v_1+\cdots+c_mv_m)=L(u)\)，因此\(T'_{\text{incl}}(L_V)=L\)。\(\text{Im}(T'_\text{incl})=\{T'_\text{incl}(L_0)|\forall L_0 \in V'\}\)。我们已经证明了\(\forall L \in U'\)，\(\exists L_V \in V' s.t. L=T'_{\text{incl}}(L_V)\)，因此\(U' \subseteq \text{Im}(T'_\text{incl})\)。而\(\text{Im}(T'_\text{incl}) \subseteq U'\)，所以\(\text{Im}(T'_\text{incl})=U'\)
\(\text{Ker}(T'_\text{incl})=\{L \in V'|T'_\text{incl}(L)=0\}\)。而\(T'_\text{incl}(L)=0\)也就是\(\forall u\in U,T'_\text{incl}(L)(u)=0，而\)\(T'_\text{incl}(L)(u)=L(T_\text{incl}(u))=L(u)\)，所以\(T'_\text{incl}(L)(u)=0\)恒成立当且仅当\(L(u)=0\)恒成立。因此根据\(U^0\)的定义，\(\text{Ker}(T'_\text{incl})=U^0\)。
综上，\(\dim(\text{Im}(T'_\text{incl}))=\dim(U')\)，\(\dim(\text{Ker}(T'_\text{incl}))=\dim(U_0)\)，因此\(\dim(V')=\dim(U')+\dim(U^0)\)。而根据对偶基的性质，\(\dim(U')=\dim(U)\)，因此\(\dim(V')=\dim(U)+\dim(U^0)\)
现在可以证明\(\text{Im}(T')=(\text{Ker}(T))^0\)了！
\(\forall L_W \in W'\)，\(T'(L_W)(v)=L_W(T(v))\)。由于\(\forall v \in \text{Ker}(T)\)成立\(T(v)=0\)，因此\(\forall v \in \text{Ker}(T)\)，有\(L_W(T(v))=L_W(0)=0\)。即\(\forall v \in \text{Ker}(T)\)，\(T'(L_W)(v)=0\)恒成立，所以\(T'(L_W) \in (\text{Ker}(T))^0\)。因此\(\text{Im}(T') \subseteq (\text{Ker}(T))^0\)。
而\(\dim(\text{Im}(T'))=\dim(\text{Im}(T))=\dim(V)-\dim(\text{Ker}(T))\)\(=\dim((\text{Ker}(T))^0)\)，因此\(\text{Im}(T')=(\text{Ker}(T))^0\)
由此，根据The Rank-Nullity Theorem，有\(\dim(\text{Im}(T'))=\dim(W')-\dim(\text{Ker}(T'))\)，而对偶空间的维数与原空间相同，并且我们知道\(\text{Ker}(T')\)就是\((\text{Im}(T))^0\)，所以它就等于\(\dim(W)-\dim((\text{Im}(T))^0)\)，而根据我们的定理，它就等于\(\dim(\text{Im}(T))\)。
所以我们证明了行秩等于列秩！
