向量

1、标量用普通小写字母或者希腊字母表示，如$t, \alpha $

2、向量用粗体小写字母表示，如$\textbf{x}$，向量元素为$x_i $，这里$x $没有加粗。加粗小写表示不同的向量，如$\textbf{x}_1$，$\textbf{x}_2$。注意：向量默认为列向量，行向量需要用列向量的转置表示，如$\textbf{x}^T $

 

矩阵：

矩阵的迹

矩阵的迹定义是矩阵对角元素的和：

$Tr({\bf A}) = \sum\limits_i {\bf A}_{i,i}$

梯度：多元函数的导数就是梯度

一阶导数，即梯度（gradient）：

$\nabla f(\bf{X}) = \frac{\partial f(\bf{X})}{\partial \bf{X}} = \begin{bmatrix} \frac{\partial f(\bf{X})}{\partial {x_1}} \\ \frac{\partial f(\bf{X})}{\partial {x_2}} \\ \vdots\\ \frac{\partial f(\bf{X})}{\partial {x_n}} \\ \end{bmatrix}$

 

二阶导数，Hessian矩阵：

$\bf{H}(x)= \nabla^2f(\bf{X}) = \begin{bmatrix} \frac{\partial ^2 f(\bf{X})}{\partial {x_1}^2} & \frac{\partial ^2 f(\bf{X})}{\partial {x_1}\partial {x_2}} & \cdots & \frac{\partial ^2 f(\bf{X})}{\partial {x_1}\partial {x_n}} &\\ \frac{\partial ^2 f(\bf{X})}{\partial {x_2}\partial {x_1}} & \frac{\partial ^2 f(\bf{X})}{\partial {x_2}^2} & \cdots & \frac{\partial ^2 f(\bf{X})}{\partial {x_2}\partial {x_n}} &\\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial ^2 f(\bf{X})}{\partial {x_n}\partial {x_1}} & \frac{\partial ^2 f(\bf{X})}{\partial {x_n}\partial {x_2}} & \cdots & \frac{\partial ^2 f(\bf{X})}{\partial {x_n}^2} &\\ \end{bmatrix}$

 

一阶导数和二阶导数经常记为$f'(x)$和$f''(x)$