凸优化数学基础笔记（九）：最优化问题的要素及分类

凸优化数学基础笔记（九）：最优化问题的要素及分类

​ 最优化问题（Optimization Problem）是应用数学中的一个核心领域，其目标是在满足一定约束条件的情况下，从一组可能的方案（或解）中找出使某一特定指标（目标）达到最优（最大或最小）的解。作为最优化问题，一般要素有三个要素：（1）优化变量（又称设计变量）、（2）目标函数、（3）约束条件。

1.优化变量

​ 一个优化设计方案是用一组设计参数的最优组合来表示的。这些设计参数可概括地划分为两类：一类是可以根据客观规律、具体条件、已有数据等预先给定的参数，统称为常量；另一类是在优化过程中，经过逐步调整，最后达到最优值的独立参数，称为变量(或设计变量、决策变量)。优化问题的目标就是使各变量达到最优组合。变量的个数称为优化问题的维数。例如：有\(n\)个变量\(x_1,x_2,\cdots,x_n\) 的优化问题就是在\(n\)维空间\(\mathbf{R}^n\) 中寻优。\(n\)维空间\(\mathbf{R}^n\) 中的点\(\mathbf{X}=[x_1,x_2,\cdots,x_n]^T\) 就代表优化问题中的一个方案。当变量为连续量时，称为连续变量；当变量只能在离散量中取值，称为离散变量。

2.目标函数

​ 反映变量间相互关系\(f:\mathbf{R}^n\rightarrow{\mathbf{R}}\)，衡量决策方案的标准，其函数值大小用于来评价优化方案的好坏。按照规范化的形式，都把优化问题归结为求目标函数的极小问题，换句话说，目标函数值越小，优化方案越好，对于某些追求目标函数极大的问题，可以转换成求其负值最小的问题。即

\[\max{f(\mathbf{X})}=\max{f(x_1,x_2,x_3,\cdots,x_n)}=-\min[-f(\mathbf{X})] \tag{1} \]

因此，在后续笔记中，一律把优化问题描述为目标函数的极小化问题，其中：

\[\min f(\mathbf{X})=\min{f(x_1,x_2,\cdots,x_n)} \tag{2} \]

如果优化问题只有一个目标函数，称为单目标函数，如果优化问题同时追求多个目标，则该问题的目标函数称为多目标函数。 多目标优化问题的目标函数通常表示为:

\[V-\min{F(\mathbf{X})}=[f_1(\mathbf{X}),f_2(\mathbf{X}),f_3(\mathbf{X}),\cdots,f_m(\mathbf{X})]^T \tag{3} \]

其中\(\mathbf{X}=[x_1,x_2,x_3,\cdots,x_n]^T\) ,这时的目标函数在目标空间已经是一个\(m\)维矢量，所以又称为矢量优化问题（一般用\(\min\)加一个前缀“\(V-\)” 来表示）。

3.约束条件

​ 变量空间本身应该遵循的限制条件的数学表达式称为约束条件或约束函数。约束条件按其表达式可分为不等式约束和等式约束两种，即

\[s.t.\begin{cases} g_i(\mathbf{X})\geq0\space (i=1,2,\cdots,l)\\ h_j(\mathbf{X})=0 \space (j=1,2,\cdots,m) \end{cases} \tag{4} \]

按约束条件的作用还将约束条件划分为起作用的约束（紧约束，有效约束）和不起作用的约束（松约束、消极约束）。等式约束相当于空间里一条曲线（曲面或超平面）。点\(\mathbf{X}\) 必须为该曲线（曲面或超曲面）上的一点，因而总是紧约束。有一个独立的等式约束，就可用代入法消去一个变量，使优化问题降低一等。因此，数学模型中独立等式约束个数应小于变量个数；如果相等，就不是一个待定优化系统，而是一个没有优化余地的既定系统。不等式约束通常是以其边界\(g(\mathbf{X})=0\)(或\(g(\mathbf{X})\approx0\))表现出约束作用的，它只限制点\(\mathbf{X}\) 必须落在允许的区域内（包括边界上），因而不等式约束的约束的个数与变量个数无关。不带约束条件的优化问题称为无约束最优化问题；带约束条件的优化问题称为约束最优化问题；

4.带约束条件的优化问题数学模型

​ 综上所述，本系列笔记要讨论的问题是如下的（静态）最优化问题，其表示形式如下有三种：

\[\begin{aligned} &\min_{[x_1,x_2,x_3,\cdots,x_n]^T\in\Omega}f(x_1,x_2,\cdots,x_n)\\ &s.t\begin{cases}g_i(x_1,x_2,\cdots,x_n)\geq{0},i=1,2,\cdots,l\\ h_j(x_1,x_2,\cdots,x_n)=0,j=1,2,\cdots,m,(m<n) \end{cases} \end{aligned} \]

第二种最优化问题表示形式为

\[\begin{aligned} &\min_{\mathbf{X}\in{\mathbf{\Omega}}}{f(\mathbf{X})} \\ &s.t.\begin{cases} g_i(\mathbf{X})\geq{0},i=1,2,\cdots,l\\ h_j(\mathbf{X})=0,j=1,2,\cdots,m(m<n) \end{cases} \end{aligned} \]

第三种最优化问题表示形式为

\[\begin{aligned} &\min_{\mathbf{X}\in{\mathbf{\Omega}}}{f(\mathbf{X})}\\ &s.t.\begin{cases} \mathbf{g}(\mathbf{X})\geq{0}\\ \mathbf{h}(\mathbf{X})=0 \end{cases} \end{aligned} \]

其中 \(\mathbf{g}(\mathbf{X})=[g_1(\mathbf{X}),\cdots,g_l(\mathbf{X})]^T\),\(\mathbf{h}(\mathbf{X})=[h_1(\mathbf{X}),\cdots,h_m(\mathbf{X})]^T\) .

​ 上述三种表示形式中，\(\mathbf{X}\in{\Omega}\) 称为集约束。在所讨论的最优化问题中，集约束是无关紧要的，这是因为一般\(\Omega=\mathbf{R}^n\)，不然的话，\(\mathbf{\Omega}\) 通常也可用不等式约束表达出来。因此今后一般不再考虑集约束。式中“\(\mathbf{s.t.}\)” 为 Subject to 的缩写，意即“满足于”或“受限于”。

​ 满足所有约束的点\(\mathbf{X}\) 称为容许点或可行点 。容许点的集合称为容许集或可行域。可用

\[\mathbf{X}\in{\mathbf{D}}=\{\mathbf{X}|g_i(\mathbf{X})\geq0,i=1,2,\cdots,l;h_j(\mathbf{X})=0,j=1,2,\cdots,m(m<n)\} \]

表示。

​ 一般地，对于最优化问题的求解，是指在可行域内找一点\(\mathbf{X}^*\)，使得目标函数\(f(\mathbf{X})\) 在该点取得极小值，即

\[\begin{aligned} &f(\mathbf{X}^*)=\min{f(\mathbf{X})}\\ &s.t.\begin{cases} g(\mathbf{X}^*)\geq{0}\\ h(\mathbf{X}^*)=0 \end{cases} \end{aligned} \]

这样的点\(\mathbf{X}^{*}\) 称为优化问题的最优点，也称为极小点，而相应的目标函数值\(f(\mathbf{X}^*)\) 称为最优值；合起来，\((\mathbf{X}^*,f(\mathbf{X}^*))\) 称为最优解，但习惯上，把\(\mathbf{X}^{*}\) 本身称为最优解。最优点的各个分量和最优解必须是有限数。

5.最优化方法的分类

​ 优化方法的类别很大，从不同的角度出发，可以作出各种不同的分类：

1. 按目标函数的多少，可分为单目标优化方法和多目标优化方法。
2. 按所能求解的函数的维数，可分为一维优化方法（也称为一维搜索）和多维优化方法。
3. 按约束情况可分为无约束优化方法和约束优化方法。
4. 按求优的途径则分为：（1）利用已有信息及再生信息进行试探及迭代求优的数值法（直接法）；（2）利用函数性态通过微分或变分求优的解析法（也称间接法）；（3）利用作图求优的图解法；（4）利用实验数据的变化过程求优的实验法（主要用于不能或不便建立数学模型的优化问题）；
5. 对于能够用数学模型表达的优化问题，所用的方法统称为数学优化方法，其中包括数学规划法和最优控制法。由于最优控制问题的数值解法可通过离散化等措施转换为数学规划问题，所以只着总讨论数学规划中的非线性规划问题。