高校最优化（建模、算法与理论）： 考情分析、学习与备考准备

针对最优化方法/凸优化相关的课程讲义、练习题和考试试题。这些材料涵盖了从基础概念到高级算法的全面内容，时间跨度从2017年到2024年。
系统性整合、梳理和分析如下：

一、资源概览与内容分布

1. 北京大学系列（核心理论）

• 《最优化：建模、算法与理论》讲义：最完整的理论体系
• 2017-2022年试题：注重凸分析、对偶理论、锥规划
• 期末练习题：41道综合题，覆盖算法收敛性、最优性条件、复杂问题求解

2. 山东大学系列（侧重计算）

• 2019-2024年期末试题：强调单纯形法、最速下降法、KT条件
• 题型特点：概念题+计算题结合，重实践应用

3. 东北大学试题

• 2020-2021年试卷：包含共轭梯度法、模式搜索法、两阶段单纯形

二、核心知识体系梳理

基于这些材料，最优化课程的核心知识结构如下：

第1层：基础概念

• 优化问题一般形式：min f(x) s.t. x∈𝒳
• 解的类型：全局/局部/严格/非严格极小解
• 凸性理论：凸集、凸函数、凸锥、对偶锥

第2层：经典算法

1. 线性规划

   • 单纯形法（原始、对偶、两阶段）
   • 对偶理论

2. 无约束优化

   • 最速下降法（梯度法）
   • 牛顿法及其修正
   • 共轭梯度法（FR方法）
   • 信赖域方法

3. 约束优化

   • KKT条件
   • 罚函数法（外点法）
   • 增广拉格朗日法
   • 投影梯度法

第3层：现代专题

1. 稀疏优化

   • ℓ₁正则化（LASSO）
   • 压缩感知
   • 次梯度算法、近似点梯度法

2. 低秩矩阵恢复

   • 核范数最小化
   • 矩阵补全（推荐系统）

3. 凸优化扩展

   • 锥规划（二阶锥、半定规划）
   • 对偶理论深度应用

4. 深度学习优化

   • 随机梯度类算法
   • 神经网络优化

三、学习路径建议

阶段1：基础掌握（1-2周）

% 重点掌握：
1. 优化问题标准形式
2. 凸集、凸函数定义与判定
3. 线性规划单纯形法
4. 最速下降法、牛顿法基本流程

推荐材料：

• 山东大学期末试题的概念题部分
• 《最优化》讲义第1-6页

阶段2：算法理解（2-3周）

% 重点掌握：
1. KKT条件推导与应用
2. 收敛性分析（Q/R线性、超线性、二次收敛）
3. 对偶理论
4. 罚函数法、增广拉格朗日法

推荐材料：

• 北京大学期中试题（凸分析证明）
• 《最优化》讲义第36-45页（收敛性理论）

阶段3：专题深入（3-4周）

% 重点掌握：
1. 稀疏优化与LASSO
2. 低秩矩阵恢复
3. 锥规划转化技巧
4. 现代优化算法（ADMM、近似点梯度）

推荐材料：

• 《最优化》讲义第11-23页（稀疏与低秩）
• 期末练习题中的综合题

四、典型题型分析与解题策略

题型1：凸性证明（北大特色）

常见问法：

• 证明集合K是凸锥
• 证明函数f是凸函数
• 求对偶锥/共轭函数

解题策略：

1. 凸集证明：验证∀x,y∈K, θ∈[0,1], θx+(1-θ)y∈K
2. 凸函数证明：
   • 一阶条件：f(y)≥f(x)+∇f(x)ᵀ(y-x)
   • 二阶条件：∇²f(x)半正定
   • 转化为单变量函数g(t)=f(x+tv)的凸性
3. 对偶锥：K* =

题型2：单纯形法计算（山大特色）

解题步骤：

1. 化为标准形（min cᵀx, Ax=b, x≥0）
2. 构建单纯形表
3. 选择进基变量（检验数<0）
4. 选择出基变量（最小比值原则）
5. 迭代至最优

关键点：

• 标出转轴元（常考）
• 处理自由变量、等式约束
• 两阶段法处理人工变量

题型3：收敛性分析（综合难点）

常见问题：

• 证明算法收敛
• 分析收敛速度（Q/R线性、超线性、二次）
• 给出复杂度界

常用工具：

• 利普希茨连续性
• 强凸性条件
• 下降引理

五、重要公式与定理索引

1. 收敛速度定义

Q-线性：‖xᵏ⁺¹ - x*‖/‖xᵏ - x*‖ ≤ a ∈ (0,1)
Q-超线性：lim比值 = 0
Q-二次：‖xᵏ⁺¹ - x*‖/‖xᵏ - x*‖² ≤ a

2. 利普希茨连续与上界

若∇f是L-Lipschitz连续，则：

f(y) ≤ f(x) + ∇f(x)ᵀ(y-x) + (L/2)‖y-x‖²

3. KKT条件（不等式约束）

对于问题 min f(x) s.t. gᵢ(x)≤0, hⱼ(x)=0：

∇f(x) + Σλᵢ∇gᵢ(x) + Σνⱼ∇hⱼ(x) = 0
λᵢ ≥ 0, gᵢ(x) ≤ 0, λᵢgᵢ(x) = 0（互补松弛）
hⱼ(x) = 0

4. 信赖域子问题最优性条件

d*是最优解当且仅当存在λ≥0使得：

(B+λI)d* = -g
λ(Δ - ‖d*‖) = 0
B+λI ≥ 0（半正定）

六、复习重点提示

高频考点

1. 凸性证明（每年北大必考）
2. 对偶理论（原始-对偶关系）
3. 单纯形法（山大、东北大学重点）
4. 收敛性分析（练习题中大量出现）
5. KKT条件应用（各校都考）

易错点提醒

1. 凸锥 vs 凸集：凸锥还需满足x∈K ⇒ αx∈K, ∀α≥0
2. 全局 vs 局部极小：凸函数中两者等价
3. Q收敛 vs R收敛：R收敛是受控收敛
4. 主动约束识别：KKT条件中λᵢ>0的约束

计算注意事项

1. 单纯形法：注意检验数符号（最小化问题为负）
2. 最速下降法：相邻搜索方向正交
3. 牛顿法：需要Hessian正定
4. 罚函数法：罚因子σ足够大

七、学习资源使用建议

对于初学

1. 从山东大学试题入手，掌握计算方法
2. 结合《最优化》讲义理解原理
3. 完成期末练习题的前10题

对于进阶学习

1. 深入研究北大期中试题的证明题
2. 掌握稀疏优化、低秩恢复等现代专题
3. 实现关键算法（梯度法、牛顿法、ADMM）

对于考前复习

1. 分类刷题：凸性证明、单纯形计算、收敛分析
2. 整理公式卡片：KKT条件、收敛速度定义、对偶关系
3. 模拟考试：限时完成一份完整试卷

八、核心算法伪代码总结

最速下降法

输入：f, ∇f, x0, ε
k = 0
while ‖∇f(x_k)‖ > ε
    d_k = -∇f(x_k)                    % 下降方向
    α_k = argmin_α f(x_k + αd_k)      % 精确线搜
    x_{k+1} = x_k + α_k d_k
    k = k + 1
end

牛顿法

输入：f, ∇f, ∇²f, x0, ε
k = 0
while ‖∇f(x_k)‖ > ε
    p_k = -(∇²f(x_k))^{-1}∇f(x_k)     % 牛顿方向
    x_{k+1} = x_k + p_k                % 步长常取1
    k = k + 1
end

投影梯度法（箱约束）

输入：f, ∇f, [l,u], x0, α, ε
k = 0
while 未收敛
    x_temp = x_k - α∇f(x_k)
    x_{k+1} = P_{[l,u]}(x_temp)        % 投影到可行域
    k = k + 1
end

% 投影算子：P(x)_i = max(l_i, min(u_i, x_i))

以上材料共同构成了完整的最优化方法知识体系。可根据学习阶段选择合适的内容，按照"基础→算法→专题"的顺序系统学习。