《微积分 A2》学习笔记 II —— 多元函数微分学应用
以多元函数微分为基础的进一步学习。
207 Taylor 展开与函数极值
Taylor 展开!!!爽!!!
用越来越高阶的多项式逼近函数在某一点处附近的行为,该思想可以简单地从一元函数推广到多元函数。给定次数,一元函数只有一个可能的项,但多元函数可以有很多不同的项,如 \(x ^ 2, xy, y ^ 2\)。
一元函数的极值可以用一阶导数为零,二阶导数不为零来判断。多元函数的极值可以用一阶微分为零,Hesse 矩阵(二阶微分)正定或负定判断。退化情况则需要更高阶微分来判断。
Taylor 公式
对 \(f\in \scr C ^ r\),\(g(t) = f(\bf x_0 + t\bf v) \in \scr C ^ r\)。由一元函数的积分余项 Taylor 公式,
由链索法则,
所以
由积分中值定理得到 Lagrange 余项的 Taylor 展开。
考虑使用 Lagrange 余项(注意是 \(r - 1\) 阶):
根据 Clairaut 定理和组合数学,\(r - 1\) 阶 Lagrange 余项的 Taylor 也可写为
其中 \(|\a| = \a_1 + \cdots + \a_m\),\(\a! = \a_1! \cdots\a_m!\),\(\bf v ^ {\a} = (v ^ 1) ^ {\a_1} \cdots(v ^ m) ^ {\a_m}\)。注意 \(k!\) 和 Taylor 展开的 \(\fr 1 {k!}\) 抵消了。
因为 \(f\) 的偏导数连续,所以 \(\fr {g ^ {(r)}(\xi)} {r!}\) 和 \(\fr {g ^ {(r)}(0)} {r!}\) 相差 \(o(\| \bf v \| ^ r)\)(注意求和符号里面乘了 \(r\) 个 \(v\))。于是得到 Peano 余项
这个是相对比较常用的公式。
直接展开太麻烦,需要以下定理保证间接展开的正确性以及根据间接展开计算高阶偏导数的正确性。数学分析,启动!
Peano 余项 Taylor 公式的唯一性
若 \(f\in \scr C ^ r\),\(P\) 是 \(r\) 次多项式,满足
则 \(P\) 是 \(f\) 在 \(\bf x_0\) 处的 \(r\) 次 Taylor 多项式。
假设 \(P(\bf v)\) 和 \(Q(\bf v)\) 都是 \(f\) 在 \(\bf x_0\) 处的 \(r\) 次 Taylor 多项式,则 \(P(\bf v) - Q(\bf v) = o(\| \bf v\| ^ r)\)。
假设 \(P(\bf v) - Q(\bf v)\neq 0\),其最低次的非零齐次多项式为 \(P_k(\bf v) - Q_k(\bf v)\),则 \(P_k(\bf v) - Q_k(\bf v) = o(\| \bf v\| ^ k)\),这是因为 \(P_k(\bf v) - Q_k(\bf v)\) 等于 \(P(\bf v) - Q(\bf v) = o(\| \bf v\| ^ k)\) 再减去所有 \(k < k'\leq r\) 的 \(P_{k'}(\bf v) - Q_{k'}(\bf v) = o(\| \bf v\| ^ k)\)。
对任意单位向量 \(\bf w\),\(\bf v = t\bf w\),则
所以 \(P_k(\bf w) - Q_k(\bf w) = 0\)(取值相减)。因此对任意 \(\bf u\),\(P_k(\bf u) = Q_k(\bf u)\),矛盾。所以 \(P = Q\)。
例 1
设
\[f(x, y) = \bc \fr {1 - \e ^ {x(x ^ 2 + y ^ 2)}} {x ^ 2 + y ^ 2}, & (x, y)\neq (0, 0); \\ 0, & (x, y) = (0, 0). \ec \]求 \(f\) 在 \((0, 0)\) 处的 \(4\) 阶 Peano 余项的 Taylor 展开以及 \(f ^ {(1, 1)}(0, 0)\),\(f ^ {(4, 0)}(0, 0)\),\(f ^ {(2, 2)}(0, 0)\)。
解
设
\[g(u) = \bc \fr {1 - \e ^ u} {u}, & u\neq 0; \\ -1, & u = 0 \ec \]是 \(\scr C ^ {\infty}\) 函数(含参积分),则 \(f(x, y) = xg(x(x ^ 2 + y ^ 2))\),\(u = x(x ^ 2 + y ^ 2) = O(r ^ 3), \ r\to 0\)。
将 \(g(u)\) Taylor 展开得到
\[g(u) = -1 - \fr u 2 + o(u), \quad u\to 0. \]则
\[f(x, y) = xg(x(x ^ 2 + y ^ 2)) = -x - \fr {x ^ 2(x ^ 2 + y ^ 2)} {2} + o(r ^ 4), \quad r\to 0. \]可知 \(f ^ {(1, 1)}(0, 0) = 0\),\(f ^ {(4, 0)}(0, 0) = -\fr 1 2\times 4! = -12\),\(f ^ {(2, 2)}(0, 0) = -\fr 1 2 \times 2! \times 2! = -2\)。
多元函数的极值
Fermat 引理
若 \(\dd f(\bf x_0)\neq 0\),则存在 \(\bf v\) 使得 \(\dd f(\bf x_0) \bf v > 0\)。根据一元函数的 Fermat 引理可知 \(\bf x_0\) 不是 \(f\) 的极值点。
因此,若 \(\bf x_0\) 是可微函数 \(f\) 的极值点,则 \(\dd f(\bf x_0) = 0\)。微分为 \(0\) 的点 \(\bf x_0\) 称为 临界点,也称为 驻点。
Hesse 矩阵
如果要判断极值的性质,则一阶微分为零,考虑二阶微分。
考虑多元函数 Taylor 展开的二次项部分(忽略常数 \(\fr 1 2\)):
这是一个二次型。其系数矩阵 \((f_{i, j}(\bf x_0))_{m\times m}\) 称为 \(f\) 在 \(\bf x_0\) 处的 Hesse 矩阵,记为 \(H_f(\bf x_0)\)。它是一个对称矩阵(由 Clairaut 定理,求导次序无关)。
- 实对称矩阵的特征值是实数。
- \(\forall \bf v\neq \bf0: \bf v ^ TH\bf v > 0\)(\(\bf v ^ TH\bf v < 0\))\(\iff\) 对称实矩阵 \(H\) 正定(负定) \(\iff\) \(H\) 的所有特征值都是正数(负数) \(\iff\) \(H\) 的所有顺序主子式都是正数(负正交替)。
当存在特征值为零时,函数在对应方向上的二阶 Taylor 展开为零。类似一元函数的退化情况,此时需要考虑更高阶部分,情况会变得很复杂。
对于二阶对称矩阵 \(H = \bpm \a & \b \\ \b & \g \epm\),
- \(H\) 正定 \(\iff\) \(\a > 0\),\(\a \g > \b ^ 2\)。
- \(H\) 负定 \(\iff\) \(\a < 0\),\(\a \g > \b ^ 2\)。
- \(H\) 非退化,但既不正定也不负定 \(\iff\) \(\a \g < \b ^ 2\)。
因为行列式是特征值的乘积。
总之,有以下结论:设 \(\bf x_0\) 是 \(f\in \scr C ^ 2\) 的临界点。
- 若 \(H_f(\bf x_0)\) 有负特征值,则 \(\bf x_0\) 不是 \(f\) 的极小值点(用 Peano 余项的二阶 Taylor 展开判定)。
- 若 \(H_f(\bf x_0)\) 有正特征值,则 \(\bf x_0\) 不是 \(f\) 的极大值点。
- 若 \(H_f(\bf x_0)\) 正定,则 \(\bf x_0\) 是 \(f\) 的严格极小值点。
- 若 \(H_f(\bf x_0)\) 负定,则 \(\bf x_0\) 是 \(f\) 的严格极大值点。
- 若 \(H_f(\bf x_0)\) 非退化,但既不正定也不负定(在一些方向上极大,在另一些方向上极小),则称 \(\bf x_0\) 是 \(f\) 的 鞍形临界点。
正特征值对应的特征向量方向是极小值,负特征值对应的特征向量方向是极大值。
例 1
讨论 \(f(x, y) = x ^ 2 + y ^ 2(1 - x) ^ 3\) 的极值与最值。
解
计算可知 \(f_x = f_y = 0\iff (x, y) = (0, 0)\) 且 \(H_f(0, 0) = \bpm 2 & 0 \\ 0 & 2 \epm\),因此 \((0, 0)\) 为唯一临界点和极小值点。
显然 \(f\) 无上下界,没有最大值和最小值。
若一元可微函数有唯一临界点,且该临界点为极小值点,则对应极小值为函数的最小值。上例说明对于多元函数没有该结论。
注意:对于函数 \(f\)(不一定连续),若一个点在过该点的每条直线上都是极小值,则不能说明该点是极小值。使用无穷多个正数不一定有正下界构造反例。
例 2(帐篷模型)
对底面矩形边长 \(x, 2y > 0\) 和底角 \(0 < \t < \fr \pi 2\),已知体积 \(xy ^ 2\tan \t = 1\),求面积 \(2x \fr {y} {\cos \t} + y ^ 2\tan \t\) 的最小值。
解
先令 \(x = \fr 1 {y ^ 2\tan \t}\) 将面积写成关于 \(y, \t\) 的二元函数
\[f(y, \t) = \fr {2} {y\sin \t} + y ^ 2\tan \t. \]求临界点 \(f_y = f_\t = 0\),解得
\[\bc \cos \t = \fr 1 {\sqrt 2}, \\ y = \sqrt[6]{2}, \\ x = \fr {1} {\sqrt [3] {2}}. \ec \]计算 Hesse 矩阵 \(f_{y, y} = 6\),\(f_{\t, \t} = 10\sqrt[3]{2}\),\(f_{y, \t} = 6 \sqrt[6]{2}\),可知 \(H_f(\bf x)\) 正定,所以临界点是极小值点。
为证明其为最小值,还需利用一阶导数的符号判定单调性。
固定 \(\t \in (0, \fr \pi 2)\),由 \(f_y\) 的表达式可知当 \(0 < y < \sqrt [3] {\frac {\cos \t} {\sin ^ 2\t}} = h(\t)\) 时,\(f(y, \t)\) 关于 \(y\) 单调减,当 \(h(\t) < y\) 时 \(f(y, \t)\) 关于 \(y\) 单调增。所以 \(f(y, \t)\geq f(h(\t), \t) \eqqcolon g(\t)\)。
而
\[g'(\t) = f_y(h(\t), \t) \cdot h'(\t) + f_\t(h(\t), \t) = f_{\t}(h(\t), \t). \]由 \(f_\t\) 的表达式可知 \(g'(\t)\) 在 \(\fr \pi 4\) 左侧小于 \(0\),在 \(\fr \pi 4\) 右侧大于 \(0\),于是 \(g(\t) > g(\fr \pi 4)\)。
- 这使得计算 Hesse 是不必要的。
对固定的 \(\t\) 找相对的最小值点,再沿着相对最小值点的曲线找真正的最小值点。
极小值点是负梯度流的吸引不动点:沿着负梯度向量场函数一定减小(梯度是函数增长最快的方向)。
例 2 也可以通过转化为长方体后使用均值不等式求解。
例 3
体积为 \(1\) 的长方体,当且仅当三条相邻的棱长度相等时表面积最小。
解
已知 \(xyz = 1\),于是
\[S = 2(xy + yz + xz) = 2\l(xy + \fr 1 x + \fr 1 y\r). \]考虑使用例 2 第二部分的方法求 \(S\) 的最小值点。
令 \(S_x = 0\),则 \(S(x, y)\) 关于 \(x\) 在 \(x = \fr 1 {\sqrt y}\) 处取到最小值。设 \(T(y) = S(\fr 1 {\sqrt y}, y) = 4\sqrt y + \fr 2 y\),对 \(y\) 求导可知在 \(y = 1\) 处取到最小值 \(6\),此时 \(x = \fr 1 {\sqrt y} = 1\),\(z = \fr 1{xy} = 1\)。
例 4
求
\[f(x, y) = 2y ^ 2 - x(x - 1) ^ 2. \]的临界点。
解
临界点为 \((\fr 1 3, 0)\) 和 \((1, 0)\)。
附近等高线是椭圆:极值点。
附近等高线交叉:鞍点。
208 最小二乘与优化算法
略。
209 多元函数凹凸性
多元函数的凹凸性和一元函数差不多。二阶导非负对应 Hesse 矩阵半正定。
凸集
称 \(K\subset V\) 是 凸集,若
凸函数
凸集 \(K\) 上的函数 \(f\) 是 凸函数,若
称 \(f\) 严格凸,若等号成立当且仅当 \(\bf x = \bf y\) 或 \(t = 0\) 或 \(t = 1\)。
- 范数 \(\| \cdot \|\) 是凸函数。可以由满足一定条件的凸集定义范数,如 Minkowski 泛函。
- 半正定二次型 是凸函数。正定二次型是严格凸函数。
- \(\scr C ^ 2\) 函数在非退化极小值点 \(\bf x ^ *\) 的一个凸邻域内是严格凸函数。
凸函数的性质
如果希望用一元函数凹凸性的结论研究多元函数凹凸性,则需要在他们之间建立桥梁。实际上,凸函数的定义本质上就是在所有线段上具有凸性,可以据此简单转化为一元函数的情形。
设 \(K\) 是凸集,则 \(f : K\to \R\) 是(严格)凸函数当且仅当对任意 \(\bf x\neq \bf y\in K\),
\[g(s) = f((1 - s)\bf x + s\bf y) \]关于 \(s\in [0, 1]\) 是严格凸函数。
充分性
\[f((1 - s)\bf x + s\bf y) = g(s) \leq (1 - s)g(0) + sg(1) = (1 - s)f(\bf x) + sf(\bf y). \]必要性
\[\bal g((1 - t)s_1 + ts_2) & = f([((1 - t) +t) - ((1 - t)s_1 + ts_2)]\bf x + [(1 - t)s_1 + ts_2]\bf y) \\ & = f((1 - t)((1 - s_1)\bf x + s_1\bf y) + t((1 - s_2)\bf x + s_2\bf y)) \\ & \leq (1 - t)f((1 - s_1)\bf x + s_1\bf y) + tf((1 - s_2)\bf x + s_2\bf y) \\ & = (1 - t)g(s_1) + t(s_2). \eal \]\(\square\)
设 \(K\) 是凸集,则 \(\scr C ^ 2\) 函数 \(f: K\to \R\) 是(严格)凸函数当且仅当 \(H_f(\bf x)\) 总是半正定(正定)。
充分性
\(f\in \scr C ^ 2\) 是凸函数,若对任意 \(\bf x, \bf y\),\(g(t) = f((1 - t)\bf x + t\bf y)\) 是凸函数。因为 \(H_f\) 半正定,所以对任意 \(t\in (0, 1)\),
\[g''(t) = (\bf y - \bf x) ^ TH_f((1 - t)\bf x + t\bf y)(\bf y - \bf x) \geq 0, \]这说明 \(g(t)\) 是凸函数。
必要性
设 \(f\) 是 \(\scr C ^ 2\) 凸函数,则 \(g(t) = f((1 - t)\bf x + t\bf y)\) 是 \(\scr C ^ 2\) 凸函数。
固定任意 \(\bf x\),选取 \(\bf y\neq \bf x\)。设 \(\bf v\) 是 \(\bf x\) 在 \(\bf y\) 方向上的单位向量,\(s = \|\bf y - \bf x\|\),则
\[g''(t) = s ^ 2\bf v ^ T H_f(\bf x + ts\bf v) \bf v \geq 0. \]令 \(s\to 0\),\(\bf v ^ T H_f(\bf x) \bf v \geq 0\),即 \(H_f\) 半正定。
\(\square\)
若 \(\bf x_0\) 是 \(\scr C ^ 2\) 凸函数 \(f\) 的临界点,则 \(\bf x_0\) 是最小值点。若 \(f\) 严格凸,则 \(\bf x_0\) 是唯一最小值点。
证明
由 Taylor 展开,
\[f(\bf x) = f(\bf x_0) + \fr 1 2(\bf x - \bf x_0) ^ T H(\bf x_0 + \xi(\bf x - \bf x_0)) (\bf x - \bf x_0) \geq f(\bf x_0). \]\(\square\)
对任意凸函数 \(f\) 以及它定义域中的任何 \(\bf x_0\),都有
\[f(\bf x)\geq f(\bf x_0) + \na f(\bf x_0) \cdot (\bf x - \bf x_0). \]\(\na f(\bf x_0) \cdot (\bf x - \bf x_0)\) 是支撑平面。
例 1
求平面上到 \(A, B, C\) 三点距离平方和最小的 \(P\)。
解
设 \(f(P)\) 为距离平方和,则
\[\gr f(P) = 2(P - A) + 2(P - B) + 2(P - C) = 6\l(P - \fr {A + B + C} 3\r). \]\(H_f(P) = 6I\),\(f\) 严格凸。\(f\) 的唯一临界点 \(P ^ * = \fr {A + B + C} 3\)(重心)是最小值点。
210 隐函数定理与逆映射定理
多元函数的等值面在每个非退化的局部确定了一个映射关系,这个关系称为隐函数。
隐函数定理
多元微积分的核心定理之一。
设 \(\scr C ^ r\) 映射 \(F : \R ^ m\times \R ^ n\to \R ^ n\) 满足 \(F(\bf x_0, \bf y_0) = 0\) 且 \(F_{\bf y}(\bf x_0, \bf y_0)\) 可逆,则存在 \(\bf x_0\) 的邻域 \(U\) 和 \(\bf y_0\) 的邻域 \(V\) 以及 \(\scr C ^ r\) 映射 \(g : U\to V\) 使得
该定理保证了解的存在唯一性和光滑性。
方程越多,自由变量越少,参数越少,即 \(m + n\) 不变的前提下,方程数量 \(n\) 增大,则相对应的自由参数数量 \(m\) 减小,由自由参数确定的参数数量 \(n\) 增大。
其本质是 通过求导对非线性的方程组做特解的局部线性化。条件 \(F_{\bf y}(\bf x_0, \bf y_0)\) 可逆保证线性方程组有唯一解,同时保证了隐函数本身的存在性。因为求解的线性方程组是关于导数的,所以最终显式解出的关系也是关于导数的,即
注意 \(F_{\bf x}(\bf x, g(\bf x))\) 是 \(F\) 对第一组变量的导数,不是复合函数导数。然而,隐函数定理的重要性绝不在于它提供了一个计算导数的方法,而在于它保证了隐函数存在。
简单地说,将 \(F(\bf x, \bf y) = 0\) 看成关于 \(\bf y\) 的方程。无法直接求解的时候怎么证明方程有解?参数 \(\bf x_0\) 的扰动对解 \(\bf y_0\) 的扰动的影响如何?
此外,对等式多次求导可得 \(g\) 的高阶导数,进一步得到 \(g\) 在 \(\bf x_0\) 处的 Taylor 展开和近似表达式。
隐函数的性质
考虑 \(n = 1\) 的情况。若 \(n > 1\),可依次解出每个隐函数并代入。
存在性
\(F_y\neq 0\) 保证 \(\bf x_0\) 局部每个 \(\bf x\) 随着 \(y\) 递增函数值单调,所以固定 \(\bf x\) 使得 \(F(\bf x, y) = 0\) 的 \(y\) 唯一。通过这个思路,可以证明隐函数的存在性。
不妨设 \(F_y(\bf x, y) > 0\)。因为 \(F\) 有连续的偏导函数,所以存在 \(\bf x_0\) 的邻域 \(U\) 和 \(y_0\) 的邻域 \([y_0 - \d, y_0 + \d]\) 使得 \(F_y(\bf x, y) > 0\),此时 \(F(\bf x_0, y_0 + \d) > 0\),\(F(\bf x_0, y_0 - \d) < 0\)。根据 \(F\) 的连续性,存在 \(U'\subseteq U\) 使得 \(F(\bf x, y_0 + \d) > 0\),\(F(\bf x, y_0 - \d) < 0\)。于是对每个 \(\bf x\in U'\),存在唯一的 \(y = g(\bf x)\) 使得 \(F(\bf x, y) = 0\)。
连续性
将存在性证明的 \(\delta\) 不断缩小可得 \(\bf x_0\) 处的连续性证明。在每个点处证明连续性即得 \(g\) 的连续性。
可微性
比较有技巧性,数学分析。
由 \(f\in \scr C ^ 1\) 得
因为 \(f(\bf x, y(\bf x)) = 0\),所以
如果小 \(o\) 内部只和 \(\bf x - \bf x_0\) 有关,那么这就是 \(y(\bf x)\) 在 \(\bf x_0\) 处的微分的定义。为此,需要论证 \(y(\bf x)\) Lipschitz 连续,即
根据 \(y(\bf x)\) 的连续性将小 \(o\) 写成 \(\eps\) 的形式,然后对不等式做变形即可。
逆映射定理
和隐函数定理等价。
若 \(H\in \scr C ^ r\),\(\bf y_0 = H(\bf x_0)\) 且 \(H_{\bf x}(\bf x_0)\) 可逆,则在 \((\bf x_0, \bf y_0)\) 的一个邻域 \(W\) 中存在 \(\scr C ^ r\) 映射 \(\bf x = g(\bf y)\) 满足
\(g\) 是 \(H\) 在 \((\bf x_0, \bf y_0)\) 附近的局部逆映射。
从隐函数到逆映射只需考虑 \(\bf y = H(\bf x)\iff H(\bf x) - \bf y = 0\)。
211 曲线与曲面
定义
称 \(\S\subset \R ^ N\) 是一个 \(m\) 维 曲面,如果对任意 \(P_0\in \S\),存在 \(P_0\) 的开邻域 \(U\),\(\R ^ m\) 的一个开集 \(V\) 和 \(\scr C ^ r\) 映射 \(g : V\to \R ^ {N - m}\) 以及 \(1\sim N\) 的排列 \(\sigma\),使得 \(\bf x\in \S \cup U\) 当且仅当
即 从局部看,\(\S\) 是一个 \(m\) 元 \(\scr C ^ r\) 映射的图像。记 \(\dim \S = m\),\(\S\) 的维度即局部自由变量的个数。\(m = 1\) 时称 \(\S\) 为 曲线。
曲面的表达式
函数图像
函数图像 \(z = f(x, y)\) 是以下两种表示方法的特例。
可微函数水平集
其中 \(F_x, F_y, F_z\) 至少一个非零。根据隐函数定理,水平集局部是二元函数图像。
参数方程
空间曲面是二维的,所以有两个自由变量。
其中 \((u, v) \in D_{uv}\subset \R ^ 2\)。为了使得局部是二元函数的图像,即 \(x, y, z\) 的其中一个变量由另外两个变量确定,则考虑将 \(u, v\) 写成另外两个变量的函数,再将其代入。
由逆映射定理,要求
至少一个非零。
曲面的切平面
本课程只考虑三维及以下的空间,所以不会出现 \(\R ^ 4\) 当中的 \(\R ^ 2\to \R ^ 2\) 曲面。
曲线的切平面可以视为曲面方程在一点处的线性近似(一阶 Taylor 展开)。
黄皮书:对照曲面的不同表达式下切平面的方程,不难看出,在曲面的正则点,切平面方程其实就是曲面方程的线性化。
函数图像
由微分的定义,\(z = f(x, y)\) 在 \((x_0, y_0, z_0 = f(x_0, y_0))\) 处的切平面
可微函数水平集
对 \(F(x, y, z) = 0\),不妨设 \(F_z\neq 0\)。
由
和
得
很像 Taylor 展开。
\(F\) 的梯度就是曲面的法向量,和法向量垂直的平面即切平面:水平集和梯度垂直。所以
与表达式一致。
参数方程
求
在 \((u_0, v_0)\) 处的微分,得
设
可以根据前两个方程用 \(\dd x, \dd y\) 表示 \(\dd u, \dd v\),再代入 \(\dd z\) 的表达式,得
这等价于使用链式法则和逆映射定理计算 \(z_x\) 和 \(z_y\)。
其中
经过繁琐的计算与化简,得
其中
曲面的法向量和法线方程
对于切平面为
的曲线,其法向量即
法线方程为
或
曲线
参数方程
考虑
其切向量为 \((x'(t_0), y'(t_0), z'(t_0))\),切线方程为
这里的分数线表示两个数的比,所以允许切向量的分量为零,此时对应的分子为零,但不允许切向量为零。切向量不为零的点称为 正则点。
法平面即与切向量垂直的点
用切线代替原来的曲线产生的误差为 \(o(t - t_0)\)。
在笛卡尔坐标系下,用内积为零表示相互垂直,可以在切平面(向量)和法向量(平面)之间来回转化。
曲面交线
空间中两个曲面的交形如
为了让其中一个变量由另外两个变量确定,由隐函数定理 \(\fr {\pa(F, G)} {\pa(x, y, z)}\) 满行秩,对应点称为 正则点。可以选择其中两列使矩阵可逆,则这两列对应的变量由另一列对应的变量确定。
切线方程由两个曲面的切平面方程求交得到
解得
以及切向量
212 约束条件下的极值
Lagrange 乘子法将约束条件自然地转化为了函数取到极值时的等价条件。
Lagrange 乘子法
约束条件一般是曲面,而曲面在一点处可以近似为平面。如果 \(\bf x\) 是约束极值点,则 \(\na f(\bf x)\) 和 \(\S\) 在 \(\bf x\) 处的切面垂直,否则在 \(\S\) 上移动,总有 \(f\) 更小和更大的点。
当 \(\dim \S = n - 1\) 时,约束条件可以写成 \(g(\bf x) = 0\),而 \(\na f(\bf x)\) 和 \(\S\) 在 \(P\) 处的切面垂直等价于 \(\na f(\bf x) = \la \na g(\bf x)\)。
考虑 \(F(\bf x, \la) = f(\bf x) - \la g(\bf x)\),则
于是存在 \(\la\) 使得 \(\na F(\bf x, \la) = 0\) 是 \(\bf x\) 是约束 临界点 的充要条件,是 \(\bf x\) 是约束极值点的必要条件。
Lagrange 乘子法只对 \(\S\) 的相对内点有效。在约束边界上需要引入新的约束。
对于更多约束条件 \(g_2(\bf x) = g_3(\bf x) = \cdots = 0\),类似引入参数 \(\la_2, \la_3, \cdots\),对应 \(\na f(\bf x)\) 在 \(\S\) 的切空间内即每个约束曲面的切平面的法向量的线性组合。
临界点不一定是极值点,更不一定是最值点,该如何判定条件极值点和条件最值点?
回想无限制条件的极值点判定是计算 Hesse 矩阵。但是我们要把 Hesse 矩阵放在限制曲面上,不太好处理。于是有以下定理:
若 \(F\) 在点 \((\bf x_0, \la)\) 处关于 \(\bf x\) 的 Hesse 矩阵 限制在约束曲面的切空间上 正定,则 \(\bf x_0\) 是 \(f\) 的条件极小值点。
具体证明方法是用隐函数定理将 \(g(\bf x, \bf y) = 0\) 写成 \(\bf y = G(\bf x)\),相当于无约束函数 \(\Phi(\bf x) = f(\bf x, G(\bf x))\) 的极值点判定。
注意:不是 \(f(\bf x)\) 在 \(\bf x_0\) 处的 Hesse 矩阵限制在约束曲面的切空间上。
例 1
求体积为 \(1\) 的表面积最小的长方体。
解
约束条件 \(xyz - 1 = 0\),\(x, y, z > 0\),最小化目标函数 \(f(x, y, z) = 2(xy + yz + zx)\)。构造拉格朗日乘子 \(\la\),则
\[F(x, y, z, \la) = 2(xy + yz + zx) - \la(xyz - 1). \]写出对应限制
\[\bc F_x = 2(y + z) - \la yz = 0, \\ F_y = 2(z + x) - \la zx = 0, \\ F_z = 2(x + y) - \la xy = 0, \\ F_\la = xyz - 1 = 0. \ec \]解得 \(x = y = z = 1\),\(\la = 4\)。接下来考虑极值和最值分析。
直接分析最小值
当 \(0 < x < \fr 1 3\) 时,\(f(x, y, z) > 2yz = \fr 2 x > 6 = f(1, 1, 1)\)。当 \(x > 9\) 时,要么 \(y < \fr 1 3\),要么 \(z < \fr 1 3\),于是由对称性,\(f(x, y, z) > 6\)。
在有界闭集 \(K = \{(x, y, z)\mid xyz = 1,\ x, y, z\in [\fr 1 3, 9]\}\) 上,\(f(x, y, z)\) 有最小值点,因此有极小值点。所以 \(f(1, 1, 1) = 6\) 是最小值。
Hesse 矩阵分析极小值
\[H_{x, y, z} F = \bpm 0 & 2 - \la z & 2 - \la y \\ 2 - \la z & 0 & 2 - \la x \\ 2 - \la y & 2 - \la x & 0 \epm = \bpm 0 & -2 & -2 \\ -2 & 0 & -2 \\ -2 & -2 & 0 \epm. \]这个矩阵在 \(\R ^ 3\) 中既不正定,也不负定。
曲面 \(xyz = 1\) 在 \((1, 1, 1)\) 处的切空间为 \(\xi + \eta + \zeta = 0\),于是
\[(\xi, \eta, \zeta) H_{x, y, z}F (\xi, \eta, \zeta) ^ T = -4(\xi \eta + \eta(-\xi -\eta) + (-\xi - \eta)\xi) = 4(\xi ^ 2 + \xi \eta + \eta ^ 2) > 0. \]可知 \((1, 1, 1)\) 是条件极值。再简单分析最小值即可。
213 变分法简介
和普通物理(1)梦幻联动。略。
214 广义含参积分
在广义积分的基础上,“含参” 就是要一致收敛。
广义含参积分是含参积分的极限。如果极限满足一致性,那么最终结果对参数就有很好的性质。根据这些性质,可以反过来帮助我们计算广义积分:将广义积分嵌入一族含参广义积分,用含参广义积分的性质计算广义积分。简单地说,就是将被积函数看成关于被积变量和参数的多元函数,并对参数求导。
定义与性质
广义含参积分
形如
的积分称为广义含参积分。广义 体现为 \(\o\) 为无穷大或瑕点,含参 体现为参数 \(\bf x\)。
广义含参积分的逐点收敛:任给参数 \(\bf x\),\(f(t, \bf x)\) 在 \([a, b]\) 上 Riemann 可积,且 \(b\to \o\) 的极限收敛。
对于积分结果 \(g(\bf x)\),我们提出以下问题:
- \(g\) 是否连续?是否可微?是否可积?
- 对 \(g\) 的操作能否直接作用在 \(f\) 上?尝试将广义含参积分转化为广义积分。
所有问题都以一致收敛性为基础。换言之,\(b\to \o\) 的极限收敛需要关于参数 \(\bf x\) 一致。
一致收敛性
称 \(g(\bf x)\) 在 \(A\) 上 一致收敛,若 \(\forall \eps > 0\),存在 \(\o\) 的去心邻域 \(U_{\eps}\) 使得
一致体现为对所有参数一致:\(U_\eps\) 与 \(\bf x\) 无关。
本质:无穷多个有限实数不一定有上界。对不同 \(\bf x\) 的要求越来越高,最终可能没有 \(U_{\eps}\)。于是得到证明不一致收敛的思路:选定某个 \(\eps\),构造 \(b_n\to \o\) 和 \(\la_n\in A\) 使得 \(|\int_a ^ {b_n} f(t, \la_n)\dd t - g(\la_n)| > \eps\)。如果难以计算积分值 \(g(\bf x)\),则需要使用后面提到的 Cauchy 准则。
例 1
\[\int_0 ^ {+\infty} \e ^ {-\la t} \dd t \]关于 \(\la\) 在 \((0, +\infty)\) 上收敛,但不一致收敛;在 \([\forall \la_0 > 0, +\infty)\) 上一致收敛。
证明
在 \((0, +\infty)\) 上收敛:
\[\int_0 ^ b \e ^ {-\la t}\dd t = \fr {1 - \e ^ {-\la b}} {\la} \to \fr 1 \la,\ b\to +\infty. \]在 \((0, +\infty)\) 上不一致收敛:取 \(\eps = 1\),\(\la = \fr 1 {3N}\),\(b = 3N\),则
\[\abs {\int_0 ^ b \e ^ {-\la t} \dd t - \fr 1 \la} = 3N\e ^ {-1} > \eps. \]在 \([\la_0, +\infty)\) 上一致收敛:放缩到 \(\la_0\),\(\fr {\e ^ {-\la b}} {\la} \leq \fr {\e ^ {-\la_0 b}} {\la_0}\)。本质上在用后面的 Weierstrass 判别法。\(\square\)
连续性
若 \(A\subset \R ^ m\) 是开集或闭集(存在集合既不是开集,也不是闭集,如 \(\Q\subset \R\)),且
- \(f(t, \bf x)\) 在 \([a, \o) \times A\) 上连续,
- \(g(\bf x)\) 在 \(A\) 上一致收敛,
则 \(g\) 连续。
证明
设
\[F(b, \bf x) = \int_a ^ b f(t, \bf x) \dd t, \]则由条件(\(\rightrightarrows\) 表示一致收敛),
\[F(b, \bf x) \stackrel {b\to \omega} {\rightrightarrows} g(\bf x). \]已知
\[F(b, \bf x) \stackrel {\bf x\to \bf x_0} {\to} F(b, \bf x_0) \stackrel {b\to \omega} {\to } g(\bf x), \]其中第一步是含参 Riemann 积分对参数的连续性,第二步是广义积分。现在需要证明
\[g(\bf x) \str {\bf x\to \bf x_0} {\to} g(\bf x_0). \]由累次极限换序准则,上式成立。\(\square\)
- 若两个内层极限存在,且其中一个一致收敛,则两个累次极限存在且相等。
- 换序之后是 \(F(b, \bf x)\str {b\to \o} \to g(\bf x) \str {\bf x\to \bf x_0} \to g(\bf x_0)\)。
另一证明
\[|g(\bf x) - g(\bf x_0)| = \abs {\int_b ^ {\omega} f(t, \bf x)\dd t + \int_a ^ b (f(t, \bf x) - f(t, \bf x_0))\dd t - \int_b ^ {\omega} f(t, \bf x_0)\dd t}. \]对任意 \(\eps\),存在 \(b(\eps)\) 使得
\[\fo \bf x\in A,\ \l|\int_b ^ \o f(t, \bf x) \dd t \r| \leq \eps. \]将广义含参积分的连续性通过一致收敛转化为含参积分的连续性,需要 \(f\) 一致连续。将其限制在有界闭集 \([a, b(\eps)]\times (A \cap \ov {B_r(\bf x_0)})\) 上,其中 \(\ov {B_r(\bf x_0)}\) 的存在性由开集或闭集保证。
可积性
若
-
\(f(t, s)\) 关于 \((t, s)\) 在 \([a, \o) \times [\a, \b]\) 上连续,
-
\(\int_a ^ {\o} f(t, s)\dd t\) 关于 \(s\) 在 \([\a, \b]\) 上一致收敛,
则
即先求广义积分,再积分,等于先积分,再求广义积分。
左侧外层积分的存在性由连续性保证,右侧需要证明外层广义积分的存在性。
检查
\[\abs {\int_a ^ b \int_\a ^ \b f(t, s) \dd s \dd t - \int_\a ^ \b \int_a ^ \omega f(t, s)\dd t \dd s}. \]左侧 Riemann 积分换序后使用一致收敛性即可。
广义可积性
若
- \(f(t, s)\) 连续,
- \(\int_a ^ {\o_1} f(t, s)\dd t\) 在 \([\a, \o_2)\) 上一致收敛,
- \(\int_\a ^ {\o_2} f(t, s)\dd s\) 在 \([a, \o_1)\) 上一致收敛,
- \(\int_a ^ {\o_1} \int_\a ^ {\o_2} \abs {f(t, s)} \dd s\dd t\) 和 \(\int_\a ^ {\o_2} \int_a ^ {\o_1} \abs {f(t, s)} \dd t\dd s\) 至少一个收敛,
则
可微性
若 \(A\subset \R ^ m\) 是开集,且
- \(f(t, \bf x), f_{x ^ k}(t, \bf x)\) 在 \([a, \o)\times A\) 上连续,
- \(g(\bf x) = \int_a ^ \o f(t, \bf x) \dd t\) 对所有 $\bf x\in A $ 收敛,
- \(g_k(\bf x) = \int_a ^ \o f_{x ^ k}(t, \bf x)\dd t\) 在 \(A\) 上 一致收敛,
则 \(g\) 关于 \(x ^ k\) 连续可微,且
由微积分基本定理,欲证明 \(g(\bf x)\) 可导,可证 \(g(\bf x) - g(\bf x_0) = \int_{x_0} ^ x f(t)\dd t\),其中 \(f\) 是连续函数,则 \(g'(x) = f(x)\)。
于是只要证明
\[\int_a ^ \o f(t, \bf x + s\bf e_k) \dd t - \int_a ^ \o f(t, \bf x) \dd t = \int_0 ^ s\int_a ^ \o f_{x ^ k}(t, \bf x + u\bf e_k) \dd t \dd u. \]即
\[\int_a ^ \o (f(t, \bf x + s\bf e_k) - f(t, \bf x)) \dd t = \int_0 ^ s\int_a ^ \o f_{x ^ k}(t, \bf x + u\bf e_k) \dd t \dd u. \]即
\[\int_a ^ \o \int_0 ^ s \fr \dd {\dd u} f(t, \bf x + u\bf e_k) \dd u\dd t = \int_0 ^ s\int_a ^ \o f_{x ^ k}(t, \bf x + u\bf e_k) \dd t \dd u. \]即
\[\int_a ^ \o \int_0 ^ s f_{x ^ k}(t, \bf x + u\bf e_k) \dd u\dd t = \int_0 ^ s\int_a ^ \o f_{x ^ k}(t, \bf x + u\bf e_k) \dd t \dd u. \]
其中条件 2 可弱化为 \(g(\bf x)\) 对某个 \(\bf x_0\in A\) 收敛,且并得到结论:\(g\) 在 \(A\) 的有界闭子集内一致收敛。
一致收敛判定
一致 Cauchy 条件
对任意 \(\eps > 0\),存在 \(\o\) 的去心邻域 \(U_\eps\),使得对任意 \(b_1, b_2\in U_{\eps}\),
这使得我们在判定一致收敛性时,不需要计算广义积分的值。
一致收敛当且仅当不一致 Cauchy:\(\exists\eps > 0\),存在 \(b_1 ^ {(n)}, b_2 ^ {(n)}\to \o\) 以及 \(\bf x_n\in A\) 使得
Weierstrass 判别法
若存在 \(g(t, \bf x)\) 使得 \(\int_a ^ \o |g(t, \bf x)|\dd t\) 一致收敛,且存在 \(\o\) 的去心邻域 \(U\) 使得
则 \(\int_a ^ \o f(t, \bf x)\dd t\) 一致收敛。
- 一个应用的例子是 \(g\) 非负且和 \(\bf x\) 无关,此时 \(g\) 收敛则一致收敛。
- 适用于判断 一致绝对收敛 的广义积分。一致绝对收敛则一致收敛。
例
对任意 \(\la_0 > 0\),证明以下积分关于 \(\la\) 在 \([\la_0, +\infty)\) 上一致收敛:
\[\int_0 ^ {+\infty} \e ^ {-\la t} \dd t. \]证明
\[\forall t\geq 0,\ \forall \la \geq \la_0: 0 < \e ^ {-\la t} \leq \e ^ {-\la_0t}. \]\(\square\)
例
对任意 \(\la_0 > 1\),证明以下积分关于 \(\la\) 在 \([\la_0, +\infty)\) 上一致收敛:
\[\int_1 ^ {+\infty} \fr 1 {t ^ \la}\dd t. \]证明
\[\forall t\geq 1,\ \forall \la \geq \la_0 : 0 < \fr 1 {t ^ \la} \leq \fr 1 {t ^ {\la_0}}. \]\(\square\)
例
对 \(a > 0\) 求
\[F(x) = \int_0 ^ {+\infty} \e ^ {-at ^ 2} \cos (tx) \dd t. \]解
证明原积分一致收敛:
\[\fo t\geq 1,\ \fo x \geq 0 : |\e ^ {-at ^ 2} \cos(tx)| \leq \e ^ {-at ^ 2} \leq \e ^ {-at}. \]证明 \(f\) 对 \(x\) 求导之后的积分一致收敛:
\[\fo t\geq 1,\ \fo x\geq 0 : |\e ^ {-at ^ 2}\sin (tx) t| \leq \e ^ {-at} t. \]所以
\[\bal F'(x) & = \int_0 ^ {+\infty} -\e ^ {-at ^ 2}\sin (tx) t\dd t \\ & = \fr 1 {2a}\int_0 ^ {+\infty} \sin (tx) \dd \e ^ {-at ^ 2} \\ & = \left.\fr 1 {2a} \sin (tx) \e ^ {-at ^ 2} \right|_0 ^ {+\infty} - \fr x {2a} \int_0 ^ {+\infty}\e ^ {-at ^ 2} \cos (tx) \dd t \\ & = -\fr x {2a} F(x). \eal \]解得
\[F(x) = F(0)\e ^ {-\fr {x ^ 2} {4a}}. \]使用 Gauss 积分,
\[F(0) = \int_0 ^ {+\infty} \e ^ {-at ^ 2} \dd t = \fr 1 2\sqrt {\fr \pi a}. \]所以
\[F(x) = \fr 1 2\sqrt {\fr \pi a} \e ^ {-\fr {x ^ 2} {4a}}. \]
Dirichlet-Abel 判别法
设
- \(\int_a ^ b f(t, \bf x)\dd t\) 对 \(b, \bf x\) 一致有界 / \(\int_a ^ \o f(t, \bf x)\dd t\) 对 \(\bf x\) 一致收敛,
- \(g(t, \bf x)\) 关于 \(t\) 单调,\(\lim_{t\to \o} g(t, \bf x) = 0\) 且对 \(\bf x\) 一致 / \(g(t, x)\) 关于 \(t\) 单调,且对 \(t, \bf x\) 一致有界,
则
对 \(\bf x\in A\) 一致收敛。
- \(\int_a ^ b f(t, \bf x)\dd t\) 对 \(b, \bf x\) 一致有界:存在 \(\o\) 的去心邻域 \(U_{\o}\) 和 \(M\) 使得 \(\forall b \in U_{\o},\ \forall \bf x \in A : \abs {\int_a ^ b f(b, \bf x)} < M\)。\(M\) 需要对所有 \(\bf x\in A\) 成立。
- \(\lim_{t\to \o} g(t, \bf x) = 0\) 对 \(\bf x\) 一致:\(\forall \eps > 0\),存在 \(\o\) 的去心邻域 \(U_\o\) 使得 \(\forall b\in U_\o,\ \forall \bf x\in A : |g(b, \bf x)| < \eps\)。
记忆:有界 + 单调趋于零 / 收敛 + 单调有界。
例(Dirichlet 积分)
\[F(x) = \int_0 ^ {+\infty} \fr {\sin(tx)} t \dd t. \]解
对任意 \(0 < \d \leq |x|\),\(\sin(tx)\) 的变上限积分一致有界:
\[\l|\int_0 ^ b \sin(tx)\r| = \l| \fr {1 - \cos(bx)} x \r|\leq \fr {2} {|x|} \leq \fr 2 \d. \]而 \(\fr 1 t\) 单调趋于 \(0\) 且对 \(|x| \geq \dd\) 一致(\(x\) 根本就没有出现),由 Dirichlet 判别法知一致收敛。
对 \(x = \fr 1 n\),
\[\int_{\fr {n\pi} 6} ^ {\fr {5n\pi} 6} \fr {\sin(\fr t n)} {t} \dd t = \int_{\fr \pi 6} ^ {\fr {5\pi} 6}\fr {\sin s} s \dd s > \fr 1 2\fr {6}{5\pi} = \fr {3} {5\pi}. \]由 Cauchy 准则知在 \(x = 0\) 的任意邻域内不一致收敛。
另解
证明不一致收敛的另一种思想是假设一致收敛,那么 \(F(x)\) 关于 \(x\) 连续,但 \(F(x)\) 在 \(x = 0\) 的邻域不连续:\(F(0) = 0\),且对 \(x > 0\),\(F(x) = F(1)\),但
\[F(1) = \int_0 ^ {+\infty} \fr {\sin t} {t}\dd t = \sum_{k \in \N} \int_{2k\pi} ^ {2k\pi + \pi}\left(\fr {\sin t} t - \fr {\sin t} {t + \pi}\right)\dd t > 0. \]一致收敛的必要性得到不一致收敛的充分性。
应用
Gamma 函数
对 \(\a > 0\),定义
\(\G(\a)\) 是 \(\scr C ^ \infty\) 函数。注意可导是局部性质,所以只要求局部一致收敛,可以通过 Weierstrass 判别法证明。
Beta 函数
积分变换
无穷维线性空间的矩阵乘法。
考虑 Laplace 变换
如果 \(t\to \pif\) 时 \(|f(t)|\leq C\e ^ {\a t}\),则 \(\scr L[f](p)\) 对 \(p > \a\) 有定义。
\(\scr L[f]\) 对 \(f\) 是线性的,且
Laplace 变换将微分运算变成代数运算,微分方程变成代数方程,卷积变成乘法。

浙公网安备 33010602011771号