合集-深度学习数学基础：线性代数
摘要：（这系列文章所有的内容是深度学习用的数学知识，都在实数域上讨论问题，且从数学专业的人的角度来看） 这是我听课的笔记，也有一些自己补充的内容（课程地址：https://www.bilibili.com/cheese/play/ss32496） 1. 矩阵 1.1 矩阵的定义 由\(m\times n\
阅读全文
摘要：2. 矩阵的重要数值量 2.1 行列式 行列式是表现矩阵特性的重要数值量之一，矩阵\(\boldsymbol{A}\)的行列式记作\(|\boldsymbol{A}|\)或\(\det(\boldsymbol{A})\)，让可以是正的，负的或者是0，只有方阵才有行列式，行列式计算的标准方法需要用到代
阅读全文
摘要：3. 线性空间及线性映射 3.1 线性空间 线性空间是一个特殊的集合，该集合上定义了加法及数量乘两种运算并且这两种运算满足一系列性质。在线性代数中，线性空间也叫向量空间。凡是定义了这两种运算且运算满足所需性质的向量的集合，均可称为向量空间。 设有集合 \(\boldsymbol{V}\)，称 \(\
阅读全文
摘要：3. 线性空间及线性映射 3.2 子空间 若 \(\boldsymbol{V}\) 是向量空间，\(\boldsymbol{U}\) 是 \(\boldsymbol{V}\) 的子集，如果 \(\boldsymbol{U}\) 也是向量空间，则称 \(\boldsymbol{U}\) 是 \(\bo
阅读全文
摘要：3. 线性空间及线性映射 3.3 直和构造子空间 假设 \(\boldsymbol{U}_1, \boldsymbol{U}_2\) 都是 \(\boldsymbol{V}\) 的子空间，一般情况下 \(\boldsymbol{U}_1 \cup \boldsymbol{U}_2\) 都不是 \(\
阅读全文
摘要：3. 线性空间及线性映射 3.4 仿射子集 若 \(\boldsymbol{V}\) 是向量空间且 \(\boldsymbol{U}\) 是 \(\boldsymbol{V}\) 的子空间，有 \(\boldsymbol{v} \in \boldsymbol{V}\)（\(\boldsymbol{v
阅读全文
摘要：3. 线性空间及线性映射 3.5 商空间 若 \(\boldsymbol{V}\) 是向量空间且 \(\boldsymbol{U}\) 是 \(\boldsymbol{V}\) 的子空间，商空间指 \(\boldsymbol{V}\) 中所有平行于 \(\boldsymbol{U}\) 的仿射子集的
阅读全文
摘要：3. 线性空间及线性映射 3.6 张成 设有一组向量 \(\left(\boldsymbol{v}_{1}, \boldsymbol{v}_{2}, \cdots, \boldsymbol{v}_{m}\right)\)，它们的线性组合表示为 \[a_{1}\boldsymbol{v}_{1} +
阅读全文
摘要：3. 线性空间及线性映射 3.7 线性无关 线性无关是线性代数中最重要的概念之一，关于线性代数的研究很大程度上都是在研究无关性。若 \(\boldsymbol{V}\) 中有一组向量 \(\left(\boldsymbol{v}_{1}, \cdots, \boldsymbol{v}_{m}\rig
阅读全文
摘要：3. 线性空间及线性映射 3.8 维数 可以很轻松地证明有限维向量空间的任意两个基的长度都相同。基于此，称有限维向量空间的任意基长度为这个向量空间的维数，\(\boldsymbol{V}\) 的维数记为 \(\dim \boldsymbol{V}\)，例如 \(\dim \boldsymbol{V}
阅读全文
摘要：3. 线性空间及线性映射 3.9 线性映射 3.9.1 线性映射基本概念 从线性空间 \(\boldsymbol{V}\) 到线性空间 \(\boldsymbol{W}\) 的映射 \(T: \boldsymbol{V} \rightarrow \boldsymbol{W}\)，如果具有下列性质则称
阅读全文
摘要：4. 特征值特征向量 4.1 定义 设 \(\boldsymbol{A}\) 是 \(n\) 阶方阵，如果数 \(\lambda\) 和 \(n\) 维非零列向量 \(\boldsymbol{x}\) 使关系式 \(\boldsymbol{A} \boldsymbol{x} = \lambda \b
阅读全文
摘要：4. 特征值特征向量 4.2 几何解释 \(\boldsymbol{A} \boldsymbol{x}\) 是一个线性变换，变换对应的矩阵为 \(\boldsymbol{A}\)。前面介绍过，若 \(\boldsymbol{V}\) 是 \(\{\boldsymbol{x}\}\) 张成的向量空间（
阅读全文
摘要：4. 特征值特征向量 4.3 重根与重数 【补】行列式计算方法 1. 余子式 在\(n\)阶行列式中，去掉元素\(a_{ij}\)所在的第\(i\)行、第\(j\)列元素，由剩下的元素按原来的位置与顺序组成的\(n-1\)阶行列式称为元素\(a_{ij}\)的余子式，记作\(M_{ij}\)，即 \
阅读全文
摘要：4. 线性空间及线性映射 4.4 重要性质 \(n\)阶方阵\(\boldsymbol{A}\)其特征根、特征向量数量关系为： 若把\(m\)重特征值算\(m\)个，那它一定有\(n\)个特征值 \(n\)阶方阵不一定有\(n\)个特征向量，特征向量数量视具体情况而定 \(m\)重根\(\lambd
阅读全文
摘要：4. 线性空间及线性映射 4.5 相似矩阵 设\(\boldsymbol{A}\)和\(\boldsymbol{B}\)均为\(n\)阶方阵，若存在可逆阵\(\boldsymbol{P}\)使得\(\boldsymbol{P}^{-1}\boldsymbol{A}\boldsymbol{P} = \
阅读全文
摘要：4. 线性空间及线性映射 4.6 广义特征值特征向量 我们将 \(\boldsymbol{A} \boldsymbol{x} = \lambda \boldsymbol{x}\) 中的 \((\lambda, \boldsymbol{x})\) 称为 \(\boldsymbol{A}\) 的特征值特
阅读全文
摘要：4. 线性空间及线性映射 4.7 在PCA（主成分分析）上的应用 PCA（主成分分析）简介 PCA（Principal Component Analysis）是机器学习中常用的一种降维算法，它可以在尽可能保留数据信息的前提下，将高维数据转换到低维空间中表示。这种技术特别适用于处理维度很高的数据集，帮
阅读全文
摘要：5. 矩阵分解 矩阵分解简介 矩阵分解（decomposition或factorization）是指通过线性变换，将某个给定矩阵分解为两个或三个矩阵标准型的乘积，以减化计算或让分析更简单，在极少情况下将矩阵分解为两个矩阵的标准型之和。 标准型的定义 标准型指通过相似变换将矩阵变换为某些特殊的规范形式
阅读全文
摘要：5. 矩阵分解 5.2 LU分解 设有任意矩阵 \(\boldsymbol{A}_{m \times n}\) 且 \(m \geq n\)（若 \(m < n\) 可研究 \(\boldsymbol{A}^\mathrm{T}\)），则在满足一定条件后 \(\boldsymbol{A}\) 可分解
阅读全文
摘要：5. 矩阵分解 5.3 Cholesky分解 1. 定义 Cholesky分解是针对 正定矩阵 或 半正定矩阵 的分解方法，核心结论为： 任意 \(n \times n\) 型 正定矩阵 \(\boldsymbol{A}\)，可分解为两种等价形式： 上三角分解：\(\boldsymbol{A} =
阅读全文
摘要：5. 矩阵分解 5.5谱分解 谱分解（实对称矩阵的特征分解特殊情况） 定义：特征分解的特殊形式 特征分解的特殊情况：谱分解（Spectral Decomposition） 对于实对称矩阵 \(\boldsymbol{A}\)，可被唯一（特征值顺序除外）分解为： \[\boldsymbol{A} =
阅读全文
摘要：5. 矩阵分解 5.6 SVD分解 SVD分解是用的最多的 奇异值分解（SVD）的定义与形式 1. 全SVD（Full SVD） 对任意实矩阵 \(\boldsymbol{A}_{m \times n}\)（秩为 \(r\)），可分解为： \[\boldsymbol{A} = \boldsymbol
阅读全文
摘要：6. 二次型及正定阵 6.1 二次型 \(\boldsymbol{\mathbb{R}}^n\) 上的 二次型 是定义在 \(\boldsymbol{\mathbb{R}}^n\) 上的函数，设 \(\boldsymbol{x} \in \boldsymbol{\mathbb{R}}^n\)，二次型
阅读全文
摘要：7. 矩阵求导 矩阵求导基础：布局与分类 矩阵求导的核心是 分子布局（也称 Jacobian 布局）和 分母布局（也称 Hessian 布局），两种写法仅相差转置，本质等价。根据分子（被导对象）和分母（求导变量）的类型（标量、向量、矩阵），可分类简化如下（复杂场景需查表，新手先掌握基础）： 求导形式
阅读全文
浙公网安备 33010602011771号