摘要：在标量、向量和矩阵的求导过程中一定要知道最后结果的形状。 这里总结几个常见的求导形式： 前言： 最基础最重要的，标量对向量求导和向量对标量求导，有两种方式，分子布局和分母布局，不同的方式都是对的，只是结果缺一个转置 1、矩阵乘以列向量，对列向量求导，形如 $\boldsymbol{z} = \bol 阅读全文

摘要：一、矩阵篇 1、Jacobian矩阵（雅可比） yi是关于x=(x1, x2...)的多元函数, yi对x的导数矩阵就是雅可比矩阵 2、Hessian矩阵 海森矩阵是函数的二阶偏导矩阵 3、正定、半正定矩阵 4、奇异矩阵 5、协方差矩阵 协方差是用来衡量两个向量之间的相关性，记作cov（X， Y） 阅读全文