机器学习数学基础-1-高数基础

高等数学基础

数列

• 按照一定次序排列的一列数：\(u_1, u_2, \dots, u_n, \dots\)，其中 \(u_n\) 叫做通项

• 对于数列 \(\{u_n\}\)，如果当 \(n\) 无限增大时，其通项无限接近于一个常数 \(A\)，则称该数列以 \(A\) 为极限或称数列收敛于 \(A\)，记 \(\lim_{n \to \infty} u_n=A\)；否则称数列为发散

---

极限

• \(\lim_{x \to x_0}f(x)=A\) 的充要条件是

\[\lim_{x \to x_0^-}f(x)=\lim_{x \to x_0^+}f(x)=A \]

---

无穷小

• 以零为极限
• \(\lim_{x \to \infty}\frac{1}{x}=0\)，则 \(\frac{1}{x}\) 是 \(x \to \infty\) 时的无穷小
• \(\lim_{x \to 2}(3x-6)=0\)，则 \((3x-6)\) 是 \(x \to 2\) 时的无穷小

基本性质：

1. 有限个无穷小的代数和仍为无穷小
2. 有限个无穷小的积为无穷小
3. 有界变量与无穷小的积仍是无穷小
4. 无限个无穷小的和不一定是无穷小
5. 无穷小的商不一定是无穷小

极限有无穷小的性质：

\(\lim_{x \to x_0}f(x)=A\) 的充要条件为 \(f(x)=A+\alpha(x)\)，其中 \(\alpha(x)\) 是 \(x\to x_0\) 时的无穷小

无穷小的比较：

记 \(\alpha=\alpha(x), \beta=\beta(x)\) 都是无穷小，\(\lim_{x \to x_0}\alpha(x)=0, \lim_{x\to x_0}\beta(x)=0\)，如果：

• \(\lim_{x \to x_0}\frac{\beta}{\alpha}=0\)，则称 \(\beta\) 是 \(\alpha\) 的高阶无穷小
• \(\lim_{x \to x_0}\frac{\beta}{\alpha}=\infty\)，则称 \(\beta\) 是 \(\alpha\) 的低阶无穷小
• \(\lim_{x \to x_0}\frac{\beta}{\alpha}=C\not ={0}\)，则称 \(\beta\) 是 \(\alpha\) 的同阶无穷小

---

无穷大

• 无穷大并不是一个具体的数，而是相对变换过程来说：\(\lim_{x \to x_0}f(x)=\infty\)
• 无穷大和无穷小的关系：在自变量的变换的同一过程中，如果 \(f(x)\) 为无穷大，那么 \(\frac{1}{f(x)}\) 为无穷小

---

函数的连续性

设函数 \(y=f(x)\) 在点 \(x_0\) 的某邻域内有定义，如果自变量的改变量 \(\Delta x\) 趋于 \(0\) 时，相应函数的改变量 \(\Delta y\) 也趋于 \(0\)，则称 \(y=f(x)\) 在点 \(x_0\) 处连续

\[\lim_{\Delta x \to x_0}\Delta y=\lim_{\Delta x \to x_0}[f(x_0+\Delta x)-f(x_0)]=0 \]

函数 \(f(x)\) 在点 \(x_0\) 处连续，需要满足的条件有：

1. 函数在该点有定义
2. 函数在该点处的极限 \(\lim_{x \to x_0}f(x)\) 存在
3. 极限值等于函数值 \(f(x_0)\)

---

函数的间断性

函数 \(f(x)\) 在点 \(x=x_0\) 处不连续，则称其为函数的间断点

3 种情况为间断点：

1. 函数 \(f(x)\) 在点 \(x_0\) 处没有定义
2. 极限 \(\lim_{x \to x_0}f(x)\) 不存在
3. 满足前两点，但 \(\lim_{x \to x_0}f(x) \not ={f(x_0)}\)

当 \(x\to x_0\) 时，\(f(x)\) 的左右极限存在，则称 \(x_0\) 为 \(f(x)\) 的第一类间断点，否则称为第二类间断点

跳跃间断点：\(\lim_{x \to x_0^+}f(x)\) 与 \(\lim_{x \to x_0^-}f(x)\) 均存在，但不相等

可去间断点：\(\lim_{x \to x_0}f(x)\) 存在但不等于 \(f(x_0)\)

---

导数

如果平均变化率的极限存在

\[\lim_{\Delta x\to 0}\frac{\Delta y}{\Delta x}=\lim_{\Delta x\to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x} \]

则称此极限为函数 \(y=f(x)\) 在点 \(x_0\) 处的导数 \(f^{'}(x_0)\)

---

偏导数

设函数 \(z=f(x,y)\) 在点 \((x_0,y_0)\) 的某个邻域内有定义，\(y=y_0\)，一元函数 \(f(x,y_0)\) 在点 \(x=x_0\) 处可导，即极限

\[\lim_{\Delta x \to 0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}=A \]

则称 \(A\) 为函数 \(z=f(x,y)\) 在点 \((x_0,y_0)\) 处关于自变量 \(x\) 的偏导数，记作 \(f_x(x_0,y_0)\)

---

方向导数

如果函数的增量，与这两点距离的比例存在，则称此为在 \(P\) 点沿着 \(L\) 的方向导数：

\[\frac{\partial f}{\partial \ell}=\lim_{\rho \to 0}\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho} \]

其中 \(\rho=\sqrt{\Delta x^2+\Delta y^2}\)

定理：

如果函数 \(z=f(x,y)\) 在点 \(P(x,y)\) 是可微分的，那么在该点沿任意方向 \(L\) 的方向导数都存在，且

\[\frac{\partial f}{\partial \ell}=\frac{\partial f}{\partial x}\cos \varphi+\frac{\partial f}{\partial y}\sin \varphi \]

其中 \(\varphi\) 为 \(x\) 轴正向到 \(L\) 的角度

---

梯度

函数 \(z=f(x,y)\) 在平面域内具有连续的一阶偏导数，对于其中每一个点 \(P(x,y)\) 都有向量 \(\frac{\partial f}{\partial x}\vec i+\frac{\partial f}{\partial y}\vec j\)，则称其为函数在点 \(P\) 的梯度，记 \(\text{grad}f(x,y)=\frac{\partial f}{\partial x}\vec i+\frac{\partial f}{\partial y}\vec j\)

梯度与方向导数的关系：

\(\vec e=\cos \varphi\vec i+\sin \varphi\vec j\) 是方向 \(L\) 上的单位向量，

\[\frac{\partial f}{\partial \ell}=\frac{\partial f}{\partial x}\cos \varphi+\frac{\partial f}{\partial y}\sin \varphi=\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\}\cdot\{\cos\varphi,\sin\varphi\}=\text{grad}f(x,y)\cdot\vec e=|\text{grad}f(x,y)|\cos \theta \]

其中 \(\theta=(\text{grad}f(x,y),\vec e)\)。因此只有当 \(\cos \theta=1\) 时，\(\frac{\partial f}{\partial \ell}\) 取得最大值

即，函数在某点的梯度是一个向量，它的方向与方向导数最大值取得的方向一致，其大小正好是最大的方向导数