# 第1.4节 最优化理论基础 习题练习题解

第1.4节 数学预备知识 习题练习

本习题围绕向量范数、方阵范数、向量序列、梯度与雅可比矩阵等核心知识点设计，共6题，涵盖基础计算、概念辨析、简单证明，旨在巩固本节数学预备知识的理解与应用。

一、基础计算题

1. 已知向量\(\boldsymbol{x}=(2, -1, 3)^T \in \mathbb{R}^3\)，分别计算该向量的\(L_1\)范数、\(L_2\)范数和\(L_\infty\)范数。
2. 设二阶方阵\(\boldsymbol{A}=\begin{pmatrix} 1 & -2 \\ 3 & 0 \end{pmatrix}\)，计算该矩阵的Frobenius范数、1-范数（列和范数）、\(\infty\)-范数（行和范数）。
3. 已知二元实值函数\(f(x_1,x_2)=x_1^2 + 2x_1x_2^3 + \ln x_2\)（\(x_2>0\)），求函数\(f\)的梯度\(\nabla f(x_1,x_2)\)和海森矩阵\(\nabla^2 f(x_1,x_2)\)；设向量值函数\(\boldsymbol{F}(x_1,x_2)=(x_1^2+x_2, \sin x_1 \cdot e^{x_2})^T\)，求其雅可比矩阵\(J_{\boldsymbol{F}}(x_1,x_2)\)。

二、概念辨析与证明题

4. 证明：向量的\(L_2\)范数\(\|\boldsymbol{x}\|_2 = \sqrt{\sum_{i=1}^n x_i^2}\)满足向量范数的三个公理（非负性、齐次性、三角不等式）。
5. 已知\(\{\boldsymbol{x}_k\}\)是\(\mathbb{R}^n\)中的收敛向量序列，证明该序列必为柯西序列。
6. 设复合函数\(h(\boldsymbol{x})=f(\boldsymbol{g}(\boldsymbol{x}))\)，其中\(\boldsymbol{g}:\mathbb{R}^2 \to \mathbb{R}^3\)，\(f:\mathbb{R}^3 \to \mathbb{R}\)，且二者均可微。已知\(\nabla f(\boldsymbol{y})=(y_1, 2y_2, y_3^2)\)（\(\boldsymbol{y}=\boldsymbol{g}(\boldsymbol{x})\)），\(\boldsymbol{g}(x_1,x_2)=(x_1+x_2, x_1^2, e^{x_2})^T\)，利用链式法则求\(\nabla h(x_1,x_2)\)。

第1.4节 数学预备知识 习题练习（含详细解答）

本习题围绕向量范数、方阵范数、向量序列、梯度与雅可比矩阵等核心知识点设计，共6题，涵盖基础计算、概念辨析、简单证明，以下为题目+详细解答步骤。

一、基础计算题

1. 已知向量\(\boldsymbol{x}=(2, -1, 3)^T \in \mathbb{R}^3\)，分别计算该向量的\(L_1\)范数、\(L_2\)范数和\(L_\infty\)范数。

解答步骤：
根据讲义中向量范数的定义，直接代入公式计算：

• \(L_1\)范数：\(\|\boldsymbol{x}\|_1 = \sum_{i=1}^n |x_i|\)，则\(\|\boldsymbol{x}\|_1 = |2| + |-1| + |3| = 2+1+3=6\)；
• \(L_2\)范数：\(\|\boldsymbol{x}\|_2 = \sqrt{\sum_{i=1}^n x_i^2}\)，则\(\|\boldsymbol{x}\|_2 = \sqrt{2^2 + (-1)^2 + 3^2} = \sqrt{4+1+9}=\sqrt{14}\)；
• \(L_\infty\)范数：\(\|\boldsymbol{x}\|_\infty = \max_{1\leq i\leq n} |x_i|\)，则\(\|\boldsymbol{x}\|_\infty = \max\{|2|,|-1|,|3|\}=3\)。

答案：\(\|\boldsymbol{x}\|_1=6\)，\(\|\boldsymbol{x}\|_2=\sqrt{14}\)，\(\|\boldsymbol{x}\|_\infty=3\)。

2. 设二阶方阵\(\boldsymbol{A}=\begin{pmatrix} 1 & -2 \\ 3 & 0 \end{pmatrix}\)，计算该矩阵的Frobenius范数、1-范数（列和范数）、\(\infty\)-范数（行和范数）。

解答步骤：
根据讲义中方阵范数的定义，分别代入对应公式计算：

• Frobenius范数（F-范数）：\(\|\boldsymbol{A}\|_F = \sqrt{\sum_{i=1}^n\sum_{j=1}^n a_{ij}^2}\)，则
  \(\|\boldsymbol{A}\|_F = \sqrt{1^2 + (-2)^2 + 3^2 + 0^2} = \sqrt{1+4+9+0}=\sqrt{14}\)；
• 1-范数（列和范数）：\(\|\boldsymbol{A}\|_1 = \max_{1\leq j\leq n}\sum_{i=1}^n |a_{ij}|\)（列元素绝对值和的最大值），
  第1列和：\(|1|+|3|=4\)，第2列和：\(|-2|+|0|=2\)，故\(\|\boldsymbol{A}\|_1 = \max\{4,2\}=4\)；
• \(\infty\)-范数（行和范数）：\(\|\boldsymbol{A}\|_\infty = \max_{1\leq i\leq n}\sum_{j=1}^n |a_{ij}|\)（行元素绝对值和的最大值），
  第1行和：\(|1|+|-2|=3\)，第2行和：\(|3|+|0|=3\)，故\(\|\boldsymbol{A}\|_\infty = \max\{3,3\}=3\)。

答案：\(\|\boldsymbol{A}\|_F=\sqrt{14}\)，\(\|\boldsymbol{A}\|_1=4\)，\(\|\boldsymbol{A}\|_\infty=3\)。

3. 已知二元实值函数\(f(x_1,x_2)=x_1^2 + 2x_1x_2^3 + \ln x_2\)（\(x_2>0\)），求函数\(f\)的梯度\(\nabla f(x_1,x_2)\)和海森矩阵\(\nabla^2 f(x_1,x_2)\)；设向量值函数\(\boldsymbol{F}(x_1,x_2)=(x_1^2+x_2, \sin x_1 \cdot e^{x_2})^T\)，求其雅可比矩阵\(J_{\boldsymbol{F}}(x_1,x_2)\)。

解答步骤：

（1）求\(f(x_1,x_2)\)的梯度\(\nabla f(x_1,x_2)\)

梯度定义：对于\(n\)元函数\(f(x_1,x_2,\dots,x_n)\)，\(\nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \right)^T\)，对二元函数求一阶偏导：
\(\frac{\partial f}{\partial x_1} = 2x_1 + 2x_2^3\)，
\(\frac{\partial f}{\partial x_2} = 6x_1x_2^2 + \frac{1}{x_2}\)（\((\ln x_2)'=\frac{1}{x_2}\)，\(2x_1x_2^3\)对\(x_2\)求导为\(6x_1x_2^2\)），
因此\(\nabla f(x_1,x_2) = \begin{pmatrix} 2x_1 + 2x_2^3 \\ 6x_1x_2^2 + \frac{1}{x_2} \end{pmatrix}\)。

（2）求\(f(x_1,x_2)\)的海森矩阵\(\nabla^2 f(x_1,x_2)\)

海森矩阵定义：\(n\)元函数的海森矩阵为\(n\)阶对称方阵，元素为二阶混合偏导数，即
\(\nabla^2 f = \begin{pmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\partial x_2} \\ \frac{\partial^2 f}{\partial x_2\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} \end{pmatrix}\)，
对一阶偏导继续求偏导：
\(\frac{\partial^2 f}{\partial x_1^2} = 2\)，
\(\frac{\partial^2 f}{\partial x_1\partial x_2} = 6x_2^2\)，
\(\frac{\partial^2 f}{\partial x_2\partial x_1} = 6x_2^2\)（二阶混合偏导连续，相等），
\(\frac{\partial^2 f}{\partial x_2^2} = 12x_1x_2 - \frac{1}{x_2^2}\)（\(6x_1x_2^2\)求导为\(12x_1x_2\)，\(\frac{1}{x_2}\)求导为\(-\frac{1}{x_2^2}\)），
因此\(\nabla^2 f(x_1,x_2) = \begin{pmatrix} 2 & 6x_2^2 \\ 6x_2^2 & 12x_1x_2 - \frac{1}{x_2^2} \end{pmatrix}\)。

（3）求向量值函数\(\boldsymbol{F}(x_1,x_2)\)的雅可比矩阵\(J_{\boldsymbol{F}}(x_1,x_2)\)

雅可比矩阵定义：对于\(\boldsymbol{F}:\mathbb{R}^n\to\mathbb{R}^m\)，\(\boldsymbol{F}=(f_1,f_2,\dots,f_m)^T\)，雅可比矩阵为\(m\times n\)矩阵，即
\(J_{\boldsymbol{F}} = \begin{pmatrix} \frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}{\partial x_2} \\ \frac{\partial f_2}{\partial x_1} & \frac{\partial f_2}{\partial x_2} \end{pmatrix}\)，
令\(f_1=x_1^2+x_2\)，\(f_2=\sin x_1 \cdot e^{x_2}\)，分别求偏导：
\(\frac{\partial f_1}{\partial x_1}=2x_1\)，\(\frac{\partial f_1}{\partial x_2}=1\)，
\(\frac{\partial f_2}{\partial x_1}=\cos x_1 \cdot e^{x_2}\)，\(\frac{\partial f_2}{\partial x_2}=\sin x_1 \cdot e^{x_2}\)，
因此\(J_{\boldsymbol{F}}(x_1,x_2) = \begin{pmatrix} 2x_1 & 1 \\ e^{x_2}\cos x_1 & e^{x_2}\sin x_1 \end{pmatrix}\)。

答案：
梯度\(\nabla f(x_1,x_2) = \begin{pmatrix} 2x_1 + 2x_2^3 \\ 6x_1x_2^2 + \frac{1}{x_2} \end{pmatrix}\)；
海森矩阵\(\nabla^2 f(x_1,x_2) = \begin{pmatrix} 2 & 6x_2^2 \\ 6x_2^2 & 12x_1x_2 - \frac{1}{x_2^2} \end{pmatrix}\)；
雅可比矩阵\(J_{\boldsymbol{F}}(x_1,x_2) = \begin{pmatrix} 2x_1 & 1 \\ e^{x_2}\cos x_1 & e^{x_2}\sin x_1 \end{pmatrix}\)。

二、概念辨析与证明题

4. 证明：向量的\(L_2\)范数\(\|\boldsymbol{x}\|_2 = \sqrt{\sum_{i=1}^n x_i^2}\)满足向量范数的三个公理（非负性、齐次性、三角不等式）。

证明步骤：
设\(\boldsymbol{x},\boldsymbol{y}\in\mathbb{R}^n\)，\(\alpha\in\mathbb{R}\)，需分别证明三个公理成立。

（1）非负性：\(\|\boldsymbol{x}\|_2 \geq 0\)，且\(\|\boldsymbol{x}\|_2 = 0 \iff \boldsymbol{x}=\boldsymbol{0}\)

• 因为平方和\(\sum_{i=1}^n x_i^2 \geq 0\)，开方后\(\sqrt{\sum_{i=1}^n x_i^2} \geq 0\)，故\(\|\boldsymbol{x}\|_2 \geq 0\)；
• 充分性：若\(\boldsymbol{x}=\boldsymbol{0}\)，则\(x_i=0(i=1,2,\dots,n)\)，故\(\|\boldsymbol{x}\|_2 = \sqrt{0}=0\)；
• 必要性：若\(\|\boldsymbol{x}\|_2 = 0\)，则\(\sqrt{\sum_{i=1}^n x_i^2}=0\)，即\(\sum_{i=1}^n x_i^2=0\)，由于平方数非负，故每个\(x_i=0\)，即\(\boldsymbol{x}=\boldsymbol{0}\)。
  非负性得证。

（2）齐次性：\(\|\alpha\boldsymbol{x}\|_2 = |\alpha| \cdot \|\boldsymbol{x}\|_2\)

\(\alpha\boldsymbol{x}=(\alpha x_1,\alpha x_2,\dots,\alpha x_n)^T\)，代入\(L_2\)范数公式：
\(\|\alpha\boldsymbol{x}\|_2 = \sqrt{\sum_{i=1}^n (\alpha x_i)^2} = \sqrt{\alpha^2 \sum_{i=1}^n x_i^2} = |\alpha| \cdot \sqrt{\sum_{i=1}^n x_i^2} = |\alpha| \cdot \|\boldsymbol{x}\|_2\)。
齐次性得证。

（3）三角不等式：\(\|\boldsymbol{x}+\boldsymbol{y}\|_2 \leq \|\boldsymbol{x}\|_2 + \|\boldsymbol{y}\|_2\)

\(\boldsymbol{x}+\boldsymbol{y}=(x_1+y_1,x_2+y_2,\dots,x_n+y_n)^T\)，需证\(\sqrt{\sum_{i=1}^n (x_i+y_i)^2} \leq \sqrt{\sum_{i=1}^n x_i^2} + \sqrt{\sum_{i=1}^n y_i^2}\)。
两边同时平方（两边均非负，平方后不等号方向不变），需证：
\(\sum_{i=1}^n (x_i+y_i)^2 \leq \sum_{i=1}^n x_i^2 + \sum_{i=1}^n y_i^2 + 2\sqrt{\left(\sum_{i=1}^n x_i^2\right)\left(\sum_{i=1}^n y_i^2\right)}\)。
展开左边：\(\sum_{i=1}^n (x_i^2+2x_iy_i+y_i^2) = \sum_{i=1}^n x_i^2 + \sum_{i=1}^n y_i^2 + 2\sum_{i=1}^n x_iy_i\)。
代入后消去相同项，需证：\(2\sum_{i=1}^n x_iy_i \leq 2\sqrt{\left(\sum_{i=1}^n x_i^2\right)\left(\sum_{i=1}^n y_i^2\right)}\)，即
\(\sum_{i=1}^n x_iy_i \leq \sqrt{\left(\sum_{i=1}^n x_i^2\right)\left(\sum_{i=1}^n y_i^2\right)}\)。
此式为柯西-施瓦茨不等式，显然成立。
因此三角不等式得证。

综上，\(L_2\)范数满足向量范数的三个公理。

5. 已知\(\{\boldsymbol{x}_k\}\)是\(\mathbb{R}^n\)中的收敛向量序列，证明该序列必为柯西序列。

证明步骤：

步骤1：明确收敛序列和柯西序列的定义

• 收敛序列：若\(\{\boldsymbol{x}_k\}\)收敛于\(\boldsymbol{x}\in\mathbb{R}^n\)，则对\(\forall \varepsilon>0\)，\(\exists\)正整数\(K\)，当\(k>K\)时，有\(\|\boldsymbol{x}_k - \boldsymbol{x}\| < \frac{\varepsilon}{2}\)（任意向量范数，因\(\mathbb{R}^n\)中范数等价）；
• 柯西序列：若对\(\forall \varepsilon>0\)，\(\exists\)正整数\(K\)，当\(k,l>K\)时，有\(\|\boldsymbol{x}_k - \boldsymbol{x}_l\| < \varepsilon\)，则\(\{\boldsymbol{x}_k\}\)为柯西序列。

步骤2：利用向量范数的三角不等式推导

对任意\(k,l>K\)，由三角不等式：
\(\|\boldsymbol{x}_k - \boldsymbol{x}_l\| = \|\boldsymbol{x}_k - \boldsymbol{x} + \boldsymbol{x} - \boldsymbol{x}_l\| \leq \|\boldsymbol{x}_k - \boldsymbol{x}\| + \|\boldsymbol{x}_l - \boldsymbol{x}\|\)。

步骤3：代入收敛序列的条件

由收敛性，当\(k,l>K\)时，\(\|\boldsymbol{x}_k - \boldsymbol{x}\| < \frac{\varepsilon}{2}\)，\(\|\boldsymbol{x}_l - \boldsymbol{x}\| < \frac{\varepsilon}{2}\)，因此：
\(\|\boldsymbol{x}_k - \boldsymbol{x}_l\| < \frac{\varepsilon}{2} + \frac{\varepsilon}{2} = \varepsilon\)。

满足柯西序列的定义，故收敛的向量序列\(\{\boldsymbol{x}_k\}\)必为柯西序列。

6. 设复合函数\(h(\boldsymbol{x})=f(\boldsymbol{g}(\boldsymbol{x}))\)，其中\(\boldsymbol{g}:\mathbb{R}^2 \to \mathbb{R}^3\)，\(f:\mathbb{R}^3 \to \mathbb{R}\)，且二者均可微。已知\(\nabla f(\boldsymbol{y})=(y_1, 2y_2, y_3^2)\)（\(\boldsymbol{y}=\boldsymbol{g}(\boldsymbol{x})\)），\(\boldsymbol{g}(x_1,x_2)=(x_1+x_2, x_1^2, e^{x_2})^T\)，利用链式法则求\(\nabla h(x_1,x_2)\)。

解答步骤：

步骤1：明确链式法则公式

讲义中复合函数梯度的链式法则：\(\nabla h(\boldsymbol{x}) = \nabla f(\boldsymbol{g}(\boldsymbol{x})) \cdot J_{\boldsymbol{g}}(\boldsymbol{x})\)，其中：

• \(\nabla f(\boldsymbol{g}(\boldsymbol{x}))\)：\(f\)在\(\boldsymbol{y}=\boldsymbol{g}(\boldsymbol{x})\)处的梯度，为1×3行向量；
• \(J_{\boldsymbol{g}}(\boldsymbol{x})\)：\(\boldsymbol{g}\)的雅可比矩阵，为3×2矩阵（因\(\boldsymbol{g}:\mathbb{R}^2\to\mathbb{R}^3\)）；
• 结果\(\nabla h(\boldsymbol{x})\)：为1×2行向量，对应二元函数\(h(x_1,x_2)\)的梯度。

步骤2：求\(\boldsymbol{y}=\boldsymbol{g}(x_1,x_2)\)的分量及\(\nabla f(\boldsymbol{g}(\boldsymbol{x}))\)

由\(\boldsymbol{g}(x_1,x_2)=(x_1+x_2, x_1^2, e^{x_2})^T\)，得\(y_1=x_1+x_2\)，\(y_2=x_1^2\)，\(y_3=e^{x_2}\)，
代入\(\nabla f(\boldsymbol{y})=(y_1, 2y_2, y_3^2)\)，得：
\(\nabla f(\boldsymbol{g}(\boldsymbol{x})) = (x_1+x_2, 2x_1^2, (e^{x_2})^2) = (x_1+x_2, 2x_1^2, e^{2x_2})\)。

步骤3：求\(\boldsymbol{g}\)的雅可比矩阵\(J_{\boldsymbol{g}}(x_1,x_2)\)

\(\boldsymbol{g}=(g_1,g_2,g_3)^T\)，其中\(g_1=x_1+x_2\)，\(g_2=x_1^2\)，\(g_3=e^{x_2}\)，雅可比矩阵为：
\(J_{\boldsymbol{g}} = \begin{pmatrix} \frac{\partial g_1}{\partial x_1} & \frac{\partial g_1}{\partial x_2} \\ \frac{\partial g_2}{\partial x_1} & \frac{\partial g_2}{\partial x_2} \\ \frac{\partial g_3}{\partial x_1} & \frac{\partial g_3}{\partial x_2} \end{pmatrix}\)，
求偏导得：
\(\frac{\partial g_1}{\partial x_1}=1\)，\(\frac{\partial g_1}{\partial x_2}=1\)；
\(\frac{\partial g_2}{\partial x_1}=2x_1\)，\(\frac{\partial g_2}{\partial x_2}=0\)；
\(\frac{\partial g_3}{\partial x_1}=0\)，\(\frac{\partial g_3}{\partial x_2}=e^{x_2}\)；
因此\(J_{\boldsymbol{g}} = \begin{pmatrix} 1 & 1 \\ 2x_1 & 0 \\ 0 & e^{x_2} \end{pmatrix}\)。

步骤4：矩阵乘法求\(\nabla h(x_1,x_2)\)

\(\nabla h = (x_1+x_2, 2x_1^2, e^{2x_2}) \cdot \begin{pmatrix} 1 & 1 \\ 2x_1 & 0 \\ 0 & e^{x_2} \end{pmatrix}\)，
按行乘列计算分量：

• 第1个分量（对\(x_1\)的偏导）：\((x_1+x_2)\times1 + 2x_1^2\times2x_1 + e^{2x_2}\times0 = x_1+x_2 + 4x_1^3\)；
• 第2个分量（对\(x_2\)的偏导）：\((x_1+x_2)\times1 + 2x_1^2\times0 + e^{2x_2}\times e^{x_2} = x_1+x_2 + e^{3x_2}\)。

答案：\(\nabla h(x_1,x_2) = \left( x_1+x_2+4x_1^3,\ x_1+x_2+e^{3x_2} \right)\)。