随笔分类 - 线性代数/矩阵论
摘要：奇异值分解（Singular Value Decomposition, SVD）可以被看做是方阵特征值分解的推广，适用于任意形状的矩阵。 对于矩阵$A\in \R^{m\times n}$，不失一般性，假设$m\geq n$，奇异值分解期望实现： $A=U\Sigma V^T$ 其中$U,V$分别为
阅读全文
摘要：找张量积概念的时候，被各种野路子博客引入的各种“积”搞混了，下面仅以Wikipedia为标准记录各种积的概念。 点积（Dot product） https://en.wikipedia.org/wiki/Dot_product 在数学中，点积（Dot product）或标量积（scalar prod
阅读全文
摘要：虽然不是什么有应用价值的定理，但是每次看到实对称矩阵时总会有疑惑，现在记录下来。 证明 设有实对称矩阵$A$，它的特征值与对应的特征向量分别为$\lambda,x$，另外记$\overline{A},\overline{\lambda},\overline{x}$分别为它们对应的共轭复数（矩阵和向量
阅读全文
摘要：在深度学习中，我们通常对模型进行抽样并计算与真实样本之间的损失，来估计模型分布与真实分布之间的差异。并且损失可以定义得很简单，比如二范数即可。但是对于已知参数的两个确定分布之间的差异，我们就要通过推导的方式来计算了。 下面对已知均值与协方差矩阵的两个多维高斯分布之间的KL散度进行推导。当然，因为便于
阅读全文
摘要：PCA 主成分分析（Principal Components Analysis, PCA）是一种降维方法。假设数据集$X\in R^{n\times m}$包含$n$条$m$维数据，PCA即实现线性映射$Y=XD\in R^{n\times k}$。其中矩阵$D\in R^{m\times k},k
阅读全文
摘要：高数 梯度与法向量的关系 求曲面$f(x^{(1)},...,x^{(n)})=0$在$(x^{(1)}_0,...,x^{(n)}_0)$处的法向量（有$f(x^{(1)}_0,...,x^{(n)}_0)=0$），实际上就是求$z = f(x^{(1)},...,x^{(n)})$在$(x^{(
阅读全文
摘要：特征值之积等于矩阵行列式 对于$n$阶方阵$A$，我们可以解$\lambda$的$n$次方程 $|A-\lambda E|=0$ 来求$A$的特征值。又因为在复数域内，$A$一定存在$n$个特征值$\lambda_1,\lambda_2...\lambda_n$使上式成立。因此作为$\lambda$
阅读全文
摘要：幂法是通过迭代来计算矩阵的主特征值（按模最大的特征值）与其对应特征向量的方法，适合于用于大型稀疏矩阵。 基本定义 设$A = (a_{ij})\in R^{n\times n}$，其特征值为$\lambda_i$，对应特征向量$x_i(i=1,...,n)$，即$Ax_i = \lambda_i x
阅读全文
摘要：迭代法是通过迭代的方式，一步一步逼近线性方程组解。它不一定能获得精确解，但在迭代多次以后，精度可以无限接近解的真实值。所以当矩阵的维度很高时，在程序中可用这种方法来求解线性方程组。它的基本形式如下： $x^{(k+1)} = Bx^{(k)} + f$ 首先设置一个随机初始值$x^{(0)}$，然后
阅读全文
浙公网安备 33010602011771号