TYTU最优化理论期末考试的核心考点

TYTU最优化理论期末考试的核心考点。将这些零散的知识点进行了系统化的归类、总结和适当讲解，并补充了一些关键联系与辨析，方便复习和记忆。

---

最优化理论期末复习精要

第一部分：基本概念与问题分类

1. 优化问题分类

问题类型	目标函数	约束条件	典型解法	特点
线性规划(LP)	线性	线性	单纯形法、内点法	可行域为凸多面体，最优解在顶点达到
非线性规划(NLP)	非线性	可线性/非线性	梯度法、牛顿法、罚函数法、KKT条件	最一般的形式，求解难度大
凸优化	凸函数	凸集（如线性等式/不等式）	梯度法、牛顿法、内点法等	局部最优即全局最优，KKT条件是充要条件
整数规划(IP)	线性/非线性	变量部分或全部为整数	分支定界法、割平面法	可行域离散，组合爆炸

2. 关键概念辨析

• 驻点：梯度为零的点（∇f(x)=0），可能是极小值点、极大值点或鞍点。
• 凸函数判定（二阶条件）：对于一元函数，二阶导 f''(x) ≥ 0；对于多元函数，Hessian矩阵半正定。你笔记中“各阶主子式均大于0”是正定的判定（Sylvester准则），半正定要求所有主子式 ≥0。
• 梯度性质（考试常见填空/判断）：
  • 负梯度方向是函数值下降最快的方向。
  • 梯度与等值线（面）正交（垂直）。
  • 梯度的模长表示最大变化率。

---

第二部分：无约束优化方法（核心考点）

方法	搜索方向	所需信息	收敛速度	优点	缺点	适用场景
梯度下降法（最速下降法）	-∇f(x)	一阶梯度	线性（较慢）	简单，计算量小	接近最优解时易“锯齿”震荡	初期迭代，精度要求不高
牛顿法	- [∇²f(x)]⁻¹ ∇f(x)	一阶+二阶(Hessian)	二次（很快）	局部收敛极快	需计算Hessian及其逆，存储量大	中小规模，精度要求高，函数光滑
共轭梯度法	共轭方向（由梯度递推生成）	一阶梯度	超线性（介于两者之间）	无需存储Hessian，内存低	对非二次函数需重启	大规模无约束优化（尤其稀疏问题）

重要补充（结合你的笔记）：

• Armijo准则：线搜索中保证步长使函数值充分下降，避免步长过大或过小。
• Hessian正定性：在驻点处，若Hessian正定 → 局部极小值点（你笔记中填空题答案）。
• “拟牛顿法（DFP/BFGS）”是牛顿法的改进，用近似矩阵代替Hessian，兼具快速收敛和低存储。

---

第三部分：约束优化与罚函数法

1. 罚函数法（外点法）

• 核心思想：将约束破坏的程度“惩罚”并加到目标函数中，转化为一系列无约束问题。
• 你的笔记公式：P(x, σ) = f(x) + σ * [惩罚项]。对于不等式约束 gᵢ(x) ≤ 0，惩罚项常取 [max(0, gᵢ(x))]² 或 [max(0, gᵢ(x))]。
• 求解步骤：
  1. 构造罚函数 P(x, σₖ)，初始 σₖ 较小。
  2. 用无约束方法（如梯度法、牛顿法）求解 min P(x, σₖ)，得 xₖ*。
  3. 增大惩罚因子 σₖ₊₁ = γ σₖ（γ > 1）。
  4. 以 xₖ* 为初值，重复步骤2-3，直至 σₖ → ∞ 时 xₖ* 收敛到原约束问题最优解。
• 注意：外点法初始点可以不在可行域内，内点法则需要初始点在内部。

2. KKT条件（考试重中之重）

• 它是带不等式约束的非线性规划取得最优解的必要条件。对于凸优化问题，它是充要条件。

• 四个组成部分（你笔记已列出，这里串联理解）：

  1. 平稳条件（梯度条件）：目标函数梯度等于约束梯度的线性组合（拉格朗日乘子加权）。
     ∇f(x*) + Σ λᵢ ∇gᵢ(x*) + Σ μⱼ ∇hⱼ(x*) = 0
  2. 互补松弛条件：λᵢ gᵢ(x*) = 0。解释：若约束不起作用（gᵢ(x*) < 0），则乘子λᵢ=0；若乘子λᵢ > 0，则约束必为紧约束（gᵢ(x*)=0）。
  3. 原始可行性：gᵢ(x*) ≤ 0，hⱼ(x*) = 0。
  4. 对偶可行性（乘子非负）：λᵢ ≥ 0（针对不等式约束）。

• 考试应用：给出一个带约束的非线性规划，要求写出KKT条件并求解。

---

第四部分：线性规划与单纯形法

1. 线性规划基本定理

• 若LP存在最优解，则至少有一个最优解在可行域（凸多面体）的顶点（极点）上。这为单纯形法只搜索顶点提供了理论依据。

2. 单纯形法核心步骤（结合你笔记）

1. 标准化：目标→min；约束→等式（加入松弛变量或剩余变量）；变量→非负。
2. 找初始基可行解：通常取松弛变量对应的单位矩阵为基。
3. 最优性检验：计算检验数（单纯形表中目标函数行系数）。
   • 若所有检验数 ≤ 0（min问题），当前解最优。
   • 你的笔记“最大正检验数确定换入变量”——没错，对于max问题，选最大正检验数对应变量换入；对于min问题，应选最小负检验数（或统一转为max）。
4. 基变换：
   • 换入变量：检验数最大正（max问题）/ 最小负（min问题）对应的非基变量。
   • 换出变量：最小比值准则（θ规则），确定原基变量中哪个离基。
5. 旋转运算（高斯消元）：将换入列变为单位向量，更新单纯形表。
6. 重复直至最优或判断无界（换入列系数全非正）。

3. 其他解法

• 内点法：从内部逼近边界，对大规模LP通常比单纯形法更快（你笔记已提到）。
• 对偶单纯形法：适用于原问题无可行解但容易找对偶可行解的情形（如灵敏度分析）。

4. 整数规划

• 分支定界法：通过松弛整数约束得到上下界，不断分支剪枝。
• 割平面法：添加有效不等式（割平面）切掉非整数最优解。

---

第五部分：算法比较与选择题/填空题考点

概念	对应方法/特征
适合离散变量、组合优化	遗传算法、分支定界
适合大规模无约束优化，只存向量	共轭梯度法
通过模拟退火过程跳出局部最优	模拟退火算法
线性规划最优解一定在顶点	基本定理
牛顿法在最优解附近的收敛阶	二次收敛
梯度法（最速下降法）收敛阶	线性收敛
罚函数法转化为无约束后常用解法	梯度法、牛顿法
单纯形法迭代中，确定换入变量依据	最大正检验数（max问题）
Hessian矩阵正定 → 驻点为	局部极小值点
梯度垂直于	等值面（线）

关于你提到的“遗传算法”：它属于元启发式算法，不依赖梯度，适合求解传统方法困难的离散、非凸、不可导问题。模拟退火同理，但两者一般不是期末考试最优化理论课程的核心（通常作为扩展了解），重点还是在梯度类方法和单纯形法等。

---

最后复习建议

1. 重视计算题：手算一小步单纯形法迭代、用KKT条件解一个简单的约束优化（2变量1约束）、用罚函数法做一次迭代（求导设零）。
2. 背下关键定义：凸集、凸函数、正定/半正定、共轭方向、互补松弛。
3. 对比记忆表格：上面整理的无约束方法比较表、线性/非线性/凸优化分类表。
4. 整理你的笔记：你记录的“海森矩阵主子式>0” → 正定 → 极小值；“梯度与等值线垂直”等，都是经典填空/判断题。