随笔分类 - 矩阵分析
矩阵微分（matrix derivatives）
摘要：关于矩阵求导，得到的导数则是矩阵形式；关于矢量求导，得到的导数则是矢量形式；关于标量求导，得到的仍是标量形式。也即关于谁求导，得到的导数形式便和谁的维度信息一致。fx = f(x)grad = np.zeros_like(x)共存在 6 种形式的矩阵导数： 1....
阅读全文
矩阵微分（matrix derivatives）
摘要：关于矩阵求导，得到的导数则是矩阵形式；关于矢量求导，得到的导数则是矢量形式；关于标量求导，得到的仍是标量形式。也即关于谁求导，得到的导数形式便和谁的维度信息一致。fx = f(x)grad = np.zeros_like(x)共存在 6 种形式的矩阵导数： 1....
阅读全文
对偶空间（dual linear space）
摘要：1. 定义设 V 为定义在数域 F 上的向量空间，定义 V 上的线性函数是从 V 到 F 的映射：f:V→F，且满足 ∀x,y∈V,k∈F 有：f(x+y)=f(x)+f(y),f(ka)=kf(a)。现考虑 V 上所有线性函数（f:V→F）的集合 V⋆。对 ∀f,g...
阅读全文
对偶空间（dual linear space）
摘要：1. 定义设 V 为定义在数域 F 上的向量空间，定义 V 上的线性函数是从 V 到 F 的映射：f:V→F，且满足 ∀x,y∈V,k∈F 有：f(x+y)=f(x)+f(y),f(ka)=kf(a)。现考虑 V 上所有线性函数（f:V→F）的集合 V⋆。对 ∀f,g...
阅读全文
基变换与坐标变换
摘要：1. 过渡矩阵与基变换设 x1,x2,…,xn 是 Vn 的一组旧基，y1,y2,…,yn 为其新基，则由基的定义可知：⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪y1=c11x1+c22x2+…+cn1xny2=c12x1+c22x2+…+cn2xn⋮yn=c1nx1+c2nx2+…...
阅读全文
基变换与坐标变换
摘要：1. 过渡矩阵与基变换设 x1,x2,…,xn 是 Vn 的一组旧基，y1,y2,…,yn 为其新基，则由基的定义可知：⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪y1=c11x1+c22x2+…+cn1xny2=c12x1+c22x2+…+cn2xn⋮yn=c1nx1+c2nx2+…...
阅读全文
矩阵分析相关证明（一） —— 正交与投影
摘要：αuu 其中 α∈R 为标量，uu∈Rn 的单位向量，则可知 αuu 定义了由点构成的线的集合，通过变化 α 的值，令 yy=αuu，现给定任一向量 xx∈Rn，考虑其在 yy 上的最近的点，也即投影点（projection）。也即最小化如下函数：∥xx−yy∥2=...
阅读全文
矩阵分析相关证明（一） —— 正交与投影
摘要：αuu 其中 α∈R 为标量，uu∈Rn 的单位向量，则可知 αuu 定义了由点构成的线的集合，通过变化 α 的值，令 yy=αuu，现给定任一向量 xx∈Rn，考虑其在 yy 上的最近的点，也即投影点（projection）。也即最小化如下函数：∥xx−yy∥2=...
阅读全文
方阵的迹（trace）及其微分（导数）
摘要：trace 的一个十分重要的性质在于线性性，Tr(A+B)=Tr(A)+Tr(B)Tr(cA)=cTr(A)1. 基本性质Tr(A)=Tr(AT)Tr(AB)=Tr(BA)Tr(ABC)=Tr(BCA)=Tr(CAB) 因此如果 A 和 C 互逆的话，三者相乘的 Tr...
阅读全文
方阵的迹（trace）及其微分（导数）
摘要：trace 的一个十分重要的性质在于线性性，Tr(A+B)=Tr(A)+Tr(B)Tr(cA)=cTr(A)1. 基本性质Tr(A)=Tr(AT)Tr(AB)=Tr(BA)Tr(ABC)=Tr(BCA)=Tr(CAB) 因此如果 A 和 C 互逆的话，三者相乘的 Tr...
阅读全文
Scatter matrix（散布矩阵）
摘要：n 个 m 维的样本，Xm×n=[x1,x2,…,xn]，样本均值定义为：x¯=1n∑i=1nxi散列矩阵定义为如下的半正定矩阵：S=∑j=1n(xj−x¯)(xj−x¯)T=∑j=1n(xj−x¯)⊗(xj−x¯)=∑j=1nxjxTj−nx¯x¯T ...
阅读全文
Scatter matrix（散布矩阵）
摘要：n 个 m 维的样本，Xm×n=[x1,x2,…,xn]，样本均值定义为：x¯=1n∑i=1nxi散列矩阵定义为如下的半正定矩阵：S=∑j=1n(xj−x¯)(xj−x¯)T=∑j=1n(xj−x¯)⊗(xj−x¯)=∑j=1nxjxTj−nx¯x¯T ...
阅读全文
explanatory variable（independent vs dependent）、design matrix
摘要：design matrix（设计矩阵） 是统计学上的概念，一般标记为 X，是由一组对象的解释变量（explanatory variables）构成的矩阵。1. explanatory variables 刻画的是属性列（feature column），也即一个样本、...
阅读全文
explanatory variable（independent vs dependent）、design matrix
摘要：design matrix（设计矩阵） 是统计学上的概念，一般标记为 X，是由一组对象的解释变量（explanatory variables）构成的矩阵。1. explanatory variables 刻画的是属性列（feature column），也即一个样本、...
阅读全文
matlab 求解 Ax=B 时所用算法
摘要：x = A\B;x = mldivide(A, B);matlab 在这里的求解与严格的数学意义是不同的，如果 A 接近奇异，matlab 仍会给出合理的结果，但也会提示警告信息；如果 A 为方阵，如果解存在的话，x = A\B 的解就是 Ax=B（代入就会成立）如果...
阅读全文
matlab 求解 Ax=B 时所用算法
摘要：x = A\B;x = mldivide(A, B);matlab 在这里的求解与严格的数学意义是不同的，如果 A 接近奇异，matlab 仍会给出合理的结果，但也会提示警告信息；如果 A 为方阵，如果解存在的话，x = A\B 的解就是 Ax=B（代入就会成立）如果...
阅读全文
希尔伯特矩阵（Hilbert matrix）
摘要：1. 定义由 Hilbert 1894 年引入的一个方阵，矩阵在各个位置上的值为：Hij=1i+j−1显然 Hij=Hji，这是一个对称矩阵，由单位分数（unit fraction，分子是 1，分母是正整数）。例如对于一个 5 阶希尔伯特矩阵而言，H=⎡⎣⎢⎢⎢⎢⎢⎢...
阅读全文
希尔伯特矩阵（Hilbert matrix）
摘要：1. 定义由 Hilbert 1894 年引入的一个方阵，矩阵在各个位置上的值为：Hij=1i+j−1显然 Hij=Hji，这是一个对称矩阵，由单位分数（unit fraction，分子是 1，分母是正整数）。例如对于一个 5 阶希尔伯特矩阵而言，H=⎡⎣⎢⎢⎢⎢⎢⎢...
阅读全文
矩阵分块与矩阵乘法的理解
摘要：block matrix：分块矩阵；线性组合（linear combination） ⇔ 矩阵乘法（matrix multiplication）；矩阵和向量相乘，自然容易立即；矩阵和矩阵相乘，则要分块进行理解；1. 矩阵乘法（matrix multiplication...
阅读全文
矩阵分块与矩阵乘法的理解
摘要：block matrix：分块矩阵；线性组合（linear combination） ⇔ 矩阵乘法（matrix multiplication）；矩阵和向量相乘，自然容易立即；矩阵和矩阵相乘，则要分块进行理解；1. 矩阵乘法（matrix multiplication...
阅读全文
浙公网安备 33010602011771号