矩阵导数

定义

• 函数 \(f:\mathbb{R}^n\to\mathbb{R},\) 它在点 \(x \in \mathbb{R}^n\)上的梯度定义为 \(\mathrm{grad}_x(f):=\left[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\dots\frac{\partial f}{\partial x_n}\right]\!\bigg\rvert_x\)\(, 是\)n\(维行向量。以\)\(\nabla f(x):=\left(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\dots,\frac{\partial f}{\partial x_n}\right)\!\bigg\rvert_x\in\mathbb{R}^n\) 表示列向量。
• 多值函数 \(f:\mathbb{R}^n\to\mathbb{R}^m,\) 它在点 \(x \in \mathbb{R}^n\)上的 Jacobian 矩阵定义为 \(\mathrm{Jac}_x(f)=\left.\begin{bmatrix}\frac{\partial f_1}{\partial x_1}&\frac{\partial f_1}{\partial x_2}&\dots&\frac{\partial f_1}{\partial x_n}\\\frac{\partial f_2}{\partial x_1}&\frac{\partial f_2}{\partial x_2}&\dots&\frac{\partial f_2}{\partial x_n}\\ \vdots&\vdots & & \vdots\\\frac{\partial f_m}{\partial x_1}&\frac{\partial f_m}{\partial x_2}&\dots&\frac{\partial f_m}{\partial x_n}\\\end{bmatrix}\right|_x\), 是\(m\times n\)的矩阵。
• 从微分的角度, 上述符号有一致性, \({\rm d}f = \mathrm{grad}_x(f) {\rm d}x = \langle \nabla f, {\rm d}x \rangle\)， \({\rm d}f = \mathrm{Jac}_x(f) {\rm d}x\), 这里微分\(\mathrm{d}x\)定义为列向量。
• 回顾Jacobian行列式，它用于多元积分中的换元公式 \(dx\,dy\,dz = \left|\frac{\partial (x,y,z)}{\partial(u,v,w)}\right|\,du\,dv\,dw\).

资料

• 矩阵手册 https://www2.imm.dtu.dk/pubdb/pubs/3274-full.html
• 行列式微分形式的推导 https://zhuanlan.zhihu.com/p/144255438