摘要：微积分笔记05：矩阵求导在深度学习中的应用 5.1 算法简述 设存在一张像素大小为\(\sqrt n \times \sqrt n\)的样本图片，即该图片总像素个数\(=n\) 现需采用神经网络对其进行识别，过程如下： （1）生成向量\(X_{1\times n}\)： 设存在向量\(X_{1\ti 阅读全文

摘要：微积分笔记04：常见的矩阵求导运算 4.1 常规矩阵求导示例 4.1.1 求导示例1：\(f(x)=A_{m\times n}\cdot x_{n \times 1}\) \(\Rightarrow f'_{x^T}(x)=A_{m\times n}\) 如： \[A= \begin{bmatrix 阅读全文

摘要：微积分笔记03：多元函数的极值 3.1 多元函数存在极值的必要条件 设存在函数\(f(x,y)\)，若该函数在点\((x_0,y_0)\)处具有偏导数，则有： \[\tag{1} f(x,y)存在极值 \Rightarrow \begin{cases} f'_x(x_0,y_0)=0\\ f'_y( 阅读全文

摘要：微积分笔记02：多元函数的泰勒展开式&海森矩阵 2.1 二元函数的n阶泰勒展开式 设二维坐标系中存在点\((x_0,y_0)\)及其邻域内的某个点\((x_0+\Delta x,y_0+\Delta y)\) 设存在函数\(z=f(x,y)\)，且\(f(x,y)\)在点\((x_0,y_0)\)的 阅读全文

摘要：微积分笔记01：方向导数与梯度 1.1 方向导数 1.1.1 方向导数引入 设二维坐标系中存在点\(P(x_0,y_0)\)，且存在某一方向\(l\)，\(l\)与\(x\)轴夹角为\(\alpha\)，\(l\)与y轴夹角为\(\beta\) 若点\(P\)沿方向\(l\)移动了t个单位距离后得到 阅读全文