marsggbo

摘要： I. 向量梯度 假设有一个映射函数为$f:R^n→R^m$和一个向量$x=[x_1,...,x_n]^T∈R^n$,那么对应的函数值的向量为$f(x)=[f_1(x),...,f_m(x)]^T∈R^m$。 现在考虑$f$对$x_i$的梯度为:$\frac{\partial{f}}{\partial 阅读全文

摘要： 参考文献: "Hyperband: Bandit Based Configuration Evaluation for Hyperparameter Optimization" I. 传统优化算法 机器学习中模型性能的好坏往往与超参数(如batch size,filter size等)有密切的关系。 阅读全文

摘要： "【Math for ML】矩阵分解(Matrix Decompositions) （上）" I. 奇异值分解(Singular Value Decomposition) 1. 定义 Singular Value Decomposition (SVD)是线性代数中十分重要的矩阵分解方法，被称为“ 线 阅读全文

摘要： 原文链接: "奇异值分解(SVD)的计算方法" 奇异值分解是线性代数中一种重要的矩阵分解方法，这篇文章通过一个具体的例子来说明如何对一个矩阵A进行奇异值分解。 首先，对于一个m n的矩阵，如果存在正交矩阵U(m\ m阶)和V(n\ n阶)，使得(1)式成立： $$A=U \Sigma V^T \ta 阅读全文

摘要： I. 行列式(Determinants)和迹(Trace) 1. 行列式(Determinants) 为避免和绝对值符号混淆，本文一般使用$det(A)$来表示矩阵$A$的行列式。另外这里的$A∈R^{n×n}$默认是方阵，因为只有方阵才能计算行列式。 行列式如何计算的就不在这里赘述了，下面简要给出 阅读全文

摘要： "理解矩阵(一)" "理解矩阵(一)" "理解矩阵(一)" 阅读全文

摘要： 首先来总结一下前面两部分的一些主要结论： 1. 首先有空间，空间可以容纳对象运动的。一种空间对应一类对象。 2. 有一种空间叫线性空间，线性空间是容纳向量对象运动的。 3. 运动是瞬时的，因此也被称为变换。 4. 矩阵是线性空间中运动（变换）的描述。 5. 矩阵与向量相乘，就是实施运动（变换）的过程 阅读全文

摘要： I. 什么是矩阵 接着理解矩阵。 上一篇里说“矩阵是运动的描述”，到现在为止，好像大家都还没什么意见。但是我相信早晚会有数学系出身的网友来拍板转。因为运动这个概念，在数学和物理里是跟微积分联系在一起的。我们学习微积分的时候，总会有人照本宣科地告诉你，初等数学是研究常量的数学，是研究静态的数学，高等数 阅读全文

摘要： I. 前言 线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。比如说，在全国一般工科院系教学中应用最广泛的同济线性代数教材（现在到了第四版），一上来就介绍逆序数这个“前无古人，后无来者”的古怪概念，然后用逆序数给出行列式的一个极不直观的定义，接着是一些简直犯傻的行列式性质 阅读全文

摘要： I. 范数(Norm) 定义: 向量空间$V$上的范数(norm)是如下函数: $$ \begin{align} \|·\|:V→R, \notag \\ x→\|x\| \notag \end{align} $$ 该函数会赋予每个向量$x$自身的长度$\|x\|∈R$,并且对于$\lambda∈R 阅读全文