摘要：最近阅读论文，再回顾一些基础的线性代数知识 1. 行列式 转置不改变行列式的值 \[|A|=|A^T| \] 对某一行加上另外一行的K倍，不改变行列式的值 只要矩阵有一行为0，行列式就是0。因为行列式等于任意一行/列的元素和其代数余子式的乘积之和，元素本身是0，行列式就是0 \[|A|=a_{i0} 阅读全文

摘要：本文将系统性介绍GPTQ以及他爹，他爷爷，他太爷爷系列论文。GPTQ是目前极端流行的一个后训练量化算法。本文从他太爷爷开始讲起。 GPTQ使用的方法改进自OBC(Frantar, 2022)，OBC来源于OBS(Hassibi, 1992)，OBS来源于OBD(Lecun, 1990) 这是一种量化 阅读全文

摘要：对于正定对称矩阵$\mathbf{H}$，可以分解为$\mathbf{H}=\mathbf{XX}^T$，其中$\mathbf{X}$是下三角矩阵。这个分解方法就是cholesky分解，pytorch对应的函数是[torch.linalg.cholesky](https://pytorch.org/ 阅读全文

摘要：# 矩阵乘法求导 pyotrch中只能是标量对矩阵求导，所以矩阵乘法结束后加个sum $$ L = sum(\bm{WX}) $$ 其中，$\bm{W}$和$\bm{X}$都是矩阵，那么 $$ \frac{\partial L}{\partial\bm{W}}_{\cdot i}=\sum\bm{X 阅读全文

摘要：次序统计量与经验分布函数 经验分布函数是一个样本的分布函数，根据样本的频率计算得到，分布函数是总体的分布函数，是概率决定的。 经验分布函数的期望是总体分布函数。 gamma分布族 gamma分布的定义 密度函数： $$ f(x:\alpha, \lambda)=\frac{\lambda^\alph 阅读全文