摘要: KKT条件是约束优化中非常关键的条件,与算法的设计和收敛性分析息息相关。 1. 拉格朗日乘子 我们以一类简单的问题做为讨论KKT条件的序言。一般来说,任何有\(n\)个元素的变量\(x=(x_{1},\ldots,x_{n})^{T}\)和\(m\)个等式约束的优化问题可以写成 \[\min_{x\ 阅读全文
posted @ 2024-05-10 23:36 xustonexin 阅读(954) 评论(0) 推荐(0)
摘要: 共轭梯度法(Conjugate Gradient method, CG) 对于严格凸的二次优化问题\(n\)维二次优化问题, \[\min_{x\in\mathbb{R}^{n}}\quad f(x)=\frac{1}{2}x^TAx-b^Tx, \]其中\(A\)是对称正定的矩阵, \(b\in\ 阅读全文
posted @ 2024-05-10 20:54 xustonexin 阅读(143) 评论(0) 推荐(0)
摘要: **设$\{a_{n}\}$是一个无穷的实数列。** 1. 如果它收敛于一个有限的实数(极限存在),那么它的任一子列都收敛于这个极限; 2. 如果它的极限不存在,此时有两种情况。(1): $\{a_{n}\}$是有界的。由Bolzano-Weierstrass定理,我们知道$\{a_{n}\}$必存 阅读全文
posted @ 2023-09-01 14:46 xustonexin 阅读(2482) 评论(0) 推荐(0)