线性代数导论 | Linear Algebra 课程
搞统计的线性代数和概率论必须精通，最好要能锻炼出直觉，再学机器学习才会事半功倍。
线性代数只推荐Prof. Gilbert Strang的MIT课程，有视频，有教材，有习题，有考试，一套学下来基本就入门了。
不多，一共10次课。
链接：https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/calendar/
| SES # | TOPICS | KEY DATES |
|---|---|---|
| 1 | The geometry of linear equations | |
| 2 | Elimination with matrices | |
| 3 | Matrix operations and inverses | |
| 4 | LU and LDU factorization | |
| 5 | Transposes and permutations | Problem set 1 due |
| 6 | Vector spaces and subspaces | |
| 7 | The nullspace: Solving Ax = 0 | |
| 8 | Rectangular PA = LU and Ax = b | Problem set 2 due |
| 9 | Row reduced echelon form | |
| 10 | Basis and dimension | |
| 11 | The four fundamental subspaces | Problem set 3 due |
| 12 | Exam 1: Chapters 1 to 3.4 | |
| 13 | Graphs and networks | |
| 14 | Orthogonality | Problem set 4 due |
| 15 | Projections and subspaces | |
| 16 | Least squares approximations | |
| 17 | Gram-Schmidt and A = QR | Problem set 5 due |
| 18 | Properties of determinants | |
| 19 | Formulas for determinants | |
| 20 | Applications of determinants | Problem set 6 due |
| 21 | Eigenvalues and eigenvectors | |
| 22 | Diagonalization | |
| 23 | Markov matrices | Problem set 7 due |
| 24 | Review for exam 2 | |
| 25 | Exam 2: Chapters 1-5, 6.1-6.2, 8.2 | |
| 26 | Differential equations | |
| 27 | Symmetric matrices | |
| 28 | Positive definite matrices | |
| 29 | Matrices in engineering | Problem set 8 due |
| 30 | Similar matrices | |
| 31 | Singular value decomposition | Problem set 9 due |
| 32 | Fourier series, FFT, complex matrices | |
| 33 | Linear transformations | |
| 34 | Choice of basis | Problem set 10 due |
| 35 | Linear programming | |
| 36 | Course review | |
| 37 | Exam 3: Chapters 1-8 (8.1, 2, 3, 5) | |
| 38 | Numerical linear algebra | |
| 39 | Computational science | |
| 40 | Final exam |
待我学完后，会来总结线性代数在统计学中的地位，在项目实践中的用途。
打卡
2019年03月11日
看完前5个Lec的视频，复习教材的相应章节，做完习题Problem set 1。
核心总结（根据教材章节分）：
Chapter 1 Introduction to Vectors
1.1 Vectors and Linear Combinations
1. 线性代数的核心就是解方程式组，限制空间求解；
2. 解法很多，可以用几何法，高中的傻瓜式求解，线性代数则将方程式组转化成了矩阵的形式，发明了自己独特的一套求解办法，降低了求解的时间复杂度；
3. 向量一般指列向量，PCA里也是，Linear Combinations线性组合，可以看做是向量或矩阵加减的泛化，线性组合的前提就是维度相同。列向量和我们处理的基因表达矩阵完全类似，列向量就是一个样本/细胞，每一行就是一个维度，所以二维的向量我们是可以在平面内可视化的.
4. 线性组合的优点，两个二维（线性无关）的可以组合得到平面内的每一个向量，三个三维的可以组合得到空间内的每一个向量。同时直观上如果另一个向量不在线性组合的空间里，那它肯定不是线性组合的解，无法通过线性组合得到另一个向量。
5. 不要把线性组合、方程组矩阵化和矩阵乘法搞混，线性组合的对象是同纬度的许多个向量或矩阵；方程组矩阵化，任何线性方程组都可以写成矩阵形式，左边是系数矩阵和变量向量，右边是截距；矩阵乘法对左右两个矩阵的维度有要求，后面会解释为什么。
6. 超纲一下：矩阵的乘法的本质就是线性变换，可以想象成把一堆数据线性投射到另一个空间。这也解释了为什么左边矩阵的列数必须等于右边矩阵的行数，按照PCA来理解，右边的就是特征向量的矩阵，每一列都是一个新的维度，每一行都是线性的权重。对左边矩阵而言，每一列是一个原维度，每一行就是一个样本点。这样可以明白矩阵乘法对右边矩阵维度的要求了吗？但是数学的证明还是没有。
head(mtcars) res <- prcomp(mtcars, scale. = F, center = F, retx = T) res$rotation[1:5,1:5] recover <- as.matrix(mtcars) %*% as.matrix(res$rotation) recover[1:5,1:5]
7. 表示形式，有一套严谨的语言系统有助于我们的思考，所以记住矩阵的表示是[ ], 向量的表示是( )。向量这么表示是为了节省空间，我们书写是从左到右的，(a, b, c)是一个躺下来的列向量。
8. 记住线性代数的矩阵不是无偏的，行和列的意义完全不同，不同的矩阵行和列的意义也不同，但它们肯定是以下两个中的一个：样本维度和特征维度。举例吧：PCA原数据矩阵，行是样本维度，列是特征维度；PCA得到的特征向量的矩阵，行是原数据矩阵的特征维度，列是新的PC维度，PC的个数我们可以选择。列向量的每一行就是一个特征维度。（仔细研究上面的R代码）
1.2 Lengths and Dot Products
1. 点积，dot product, 熟悉而陌生，它的操作对象是两个同维度的列向量，计算方法是每个维度分别求积然后求和，几何意义就是一个的投影长度乘以另一个的长度，满足交换律。a·b = |a|·|b|·cosθ = b·a = |b|·|a|·cosθ。点积的应用：根据符号判断两向量的夹角，是否正交。还有一个叫做叉积，就是求两个向量平面的垂直向量。
2. 交换、结合和分配律：（判断运算的规律）交换律，两个变量，判断运算是否能够交换顺序；结合律，三个变量，同运算能否交换先后顺序；分配律，三个变量，多个运算能够交换先后顺序。
3. 向量长度的表示，||v|| = √v·v，单位向量就是长度为1的所有向量的集合。任何向量都可以转换为单位向量，把每一个维度除以该向量的长度就行。
4. 超纲一下：什么是线性相关和线性无关？研究对象是两个以上的向量组，如果存在不全为0的系数，其中任一向量可有其他向量线性表示，则为线性相关。对于二维而言，线性相关表示其方向相同或相反，否则为线性无关，线性无关的向量组有一个极其重要的特性，那就是n个n维的线性无关的向量组可以通过线性组合表征整个R^n。
5. 再超纲一下：什么是秩？矩阵的秩，可以确定方程组有无唯一解，对向量组而言，秩就是极大线性无关向量组/方程组。
1.3 Matrices
1. 矩阵的维度，3 X 4, 3是行数，4是列数，需要牢记。
2. 矩阵与矩阵或向量的乘积的改写形式，可以改成线性组合的形式，也可以利用矩阵分块的特性来拆分，真的千变万化，请熟练掌握。
3. 超纲：矩阵的对角化在PCA中非常重要。什么是正交矩阵？ 正交矩阵（Orthogonal Matrix）是指其转置等于其逆的矩阵。列向量之间彼此正交，就是內积为0，俗话说就是垂直。正交老是容易和相关搞混，其实很好区分，正交是垂直，相关就是平行。
4. 超纲：相似矩阵是什么？
5. 协方差矩阵的矩阵求法？非常简洁的形式。
6. 矩阵乘法的本质，线性变化，投射到新的空间。阮一峰简单证明了矩阵乘法的运算规则。还有篇博文梳理了矩阵乘法的本质。左边是原数据，列是特征维度，右边的矩阵是施加运动的矩阵，每一列都是一个带变化权重的新维度，所以它的列数可以无限多，只要你喜欢。标量与矩阵的乘法符合交换律，但矩阵与矩阵的乘法则不符合（向量是特殊的矩阵，同理）。
7. 矩阵分块后，大部分运算都是可以通用的，比如矩阵乘法。矩阵分块能将很多运算立马简化。
8. 矩阵有个非常好的性质，按行并行，也就是说行是可以随便拆分的，尤其是在多元方程组和矩阵形式之间转换时。想拆，必须左右两边都是矩阵，因为矩阵相等，每个对应的位置都必须相等。
9. 什么矩阵不可逆Inverse Matrix？行列式不为0
总结：这一章介绍了一些基本概念，还没有完全进入正文。
Chapter 2 Solving Linear Equations
下一步计划：图论，Graph Theory
待续~
有启发的链接：
