矩阵求导 -- 机器学习常用

维基百科（最全最详细）：

 https://en.wikipedia.org/wiki/Matrix_calculus

 

分子、分母布局：

分子布局：分子为列向量，或者分母为行向量；

分母布局：分母为列向量，或者分子为行向量；

 

运算类型：

标量，向量，矩阵

 

运算规则：

 

矩阵的求导就是在一定规则下把向量或者矩阵展开，一一对应进行求导。

 

需要注意的规则：（以下公式默认在分子布局下的结果，若分母布局需要转置）

• 在涉及矩阵的求导时，分子布局下无需转置，分母布局下需要转置；
• 
• 
• 

 

常用公式：

• ，若A为对称矩阵，则
• 

   

遇到不会的查表吧！