linear algebra

向量：能够进行加法运算与数乘的东西
向量空间：一个集合，元素是向量，基的维度就是向量空间的维度
基：向量空间中任意一组线性无关的向量，如二维平面空间(1,0) (0,1)就是一组基，且是标准正交基
线性变换：变换是函数，映射等的同义词，线性是指经过变换后，空间的原点是不动的，保持网格线平行且等距分布。其严格定义为：
若一个变换L满足以下两条性质

\[L(\overrightarrow{v}+\overrightarrow{w})=L(\overrightarrow{v})+L(\overrightarrow{w}) \\ L(e\overrightarrow{v})=eL(\overrightarrow{v}) \]

则称L是线性的。
矩阵：线性变换的工具，向量与矩阵相乘实质上就是做了次线性变换，该矩阵就是原始空间的基到新空间的基的过度矩阵，如果原始空间的基坐标系为单位矩阵，那么该过渡矩阵就是新空间的基坐标系

行列式
行列式的绝对值表示区域面积的缩放比例
负值表示空间被翻转了
两个向量的内积实质上是某一向量的投影长度乘以另一向量的长度
外积：
$ \begin{bmatrix} v_1\ v_2 \ v_3 \end{bmatrix}\times \begin{bmatrix} w_1\ w_2 \ w_3 \end{bmatrix}=$ \(det( \begin{bmatrix} \hat{i} & v_1 &w_1\\ \hat{j} & v_2 & w_2\\ \hat{k}& v_3 & w_3 \end{bmatrix} )\)
外积的长度等于两个向量围成的平行四边形面积，方向与平行四边形垂直
定义一个三维空间到一维空间(数轴)的线性变换,并且它是根据向量\(\hat{v} 和 \hat{w}来定义的，\hat{u}\)是一可变向量：

\[f(\begin{bmatrix} u_1\\ u_2 \\u_3 \end{bmatrix})= det( \begin{bmatrix} u_1 & v_1 &w_1 \\u_2 & v_2 & w_2 \\u_3 & v_3 & w_3 \end{bmatrix}) \]

是三个向量围成的立方体体积,因为该函数从三维空间到一维空间，所以可以表示为

\[[p_1,p_2,p_3]\begin{bmatrix} u_1\\ u_2 \\u_3 \end{bmatrix} \]

自然的有

\[f(\begin{bmatrix} u_1\\ u_2 \\ u_3 \end{bmatrix})= det( \begin{bmatrix} u_1 & v_1 &w_1 \\ u_2 & v_2 & w_2 \\ u_3 & v_3 & w_3 \end{bmatrix})= [p_1,p_2,p_3]\begin{bmatrix} u_1\\ u_2 \\ u_3 \end{bmatrix} \]

\(\hat{p}是\hat{v}和\hat{w}的外积\)

基变换：将一个空间的基变成另一组基，那么空间中的向量表示方法也会随之改变

特征向量：经过线性变换被拉伸特征值倍的向量(并未发生旋转)

\(C=AB,A_{nxm},B_{mxn},C_{nxn}\)
\(c_{ij}=\sum_{k=1}^ma_{ik}b_{kj}\)
\(tr(AB)=tr(BA)\)
证明：\(tr(AB)=\sum_{i=1}^n(AB)_{ii}\)=\(\sum_{i=1}^n\sum_{j=1}^mA_{ij}B_{ji}\)=\(\sum_{j=1}^m\sum_{i=1}^nB_{ji}A_{ij}\)=\(\sum_{j=1}^m(BA)_{jj}=tr(BA)\)
\(tr(ABC)=tr(CAB)=tr(BCA)\)
\(\frac{dtr(AB)}{dA}=\frac{dtr(BA)}{dA}=B^T\)
证明:
\(tr(AB)=\sum_{i=1}^n\sum_{j=1}^mA_{ij}B_{ji}\)
\(\frac{dtr(AB)}{a_{ij}}=b_{ji}\to \frac{dtr(AB)}{dA}=B^T\)

\(\frac{dtr(A^TB)}{dA}=\frac{dtr(BA^T)}{dA}=B\)

\(\frac{dtr(ABA^TC)}{dA}=1/2(CAB+C^TAB^T)\)

加权最小二乘解为：
\((X^TWX)^{-1}X^TWY\)

雅克比矩阵J：
1.令i=1,\(\alpha\)(控制步长参数),\(\theta(拟合参数),y_0,p(参数个数)\)
2.计算\(\delta = \alpha\theta(i)\)
3.\(\theta_{new} = \theta+\delta\)
4.\(y_1 = f(\theta_{new})\)
5.\(\Delta y = y_1-y_0\)
6.$J(:,i) =\Delta y ./ \delta(i) $
7.若i=p,退出；否则，i=i+1,回 2

\((z_1,z_2,\cdots,z_p) \begin{pmatrix} 1/||z_1|| & 0& 0 & \cdots & 0 \\ 0 & 1/||z_2|| & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1/||z_p|| \\ \end{pmatrix}\)=$(z_1/||z_1||,z_2/||z_2||,\cdots,z_p/||z_p||) $