Tri-StateTraveler

摘要： KKT条件是约束优化中非常关键的条件，与算法的设计和收敛性分析息息相关。 1. 拉格朗日乘子 我们以一类简单的问题做为讨论KKT条件的序言。一般来说，任何有\(n\)个元素的变量\(x=(x_{1},\ldots,x_{n})^{T}\)和\(m\)个等式约束的优化问题可以写成 \[\min_{x\ 阅读全文

摘要： 共轭梯度法(Conjugate Gradient method, CG) 对于严格凸的二次优化问题\(n\)维二次优化问题， \[\min_{x\in\mathbb{R}^{n}}\quad f(x)=\frac{1}{2}x^TAx-b^Tx, \]其中\(A\)是对称正定的矩阵, \(b\in\ 阅读全文