KKT

KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。

条件

一般的优化问题：

minimize     f(x)(1)
subject to

ai(x)=0fori=0,1,⋯,p(2)

cj(x)≧0forj=0,1,⋯,q(3)

方法

一般约束问题的优化问题极值点一阶必要条件（KKT）

如果x∗是优化问题的局部最小解，那么有
1)ai(x∗)=0fori=0,1,⋯,p
2)cj(x∗)≧0forj=0,1,⋯,q
3)通过拉格朗日乘子式，v∗i，fori=0,1,⋯,p和λ∗j，forj=0,1,⋯,q，使得

Δf(x∗)=∑i=1pv∗iΔai(x∗)+∑j=1qλ∗jΔcj(x∗)(4)

4) λ∗jcj(x∗)=0，forj=0,1,2,⋯,q
λ∗j>0⟹cj(x∗)=0
cj(x∗)>0⟹λ∗j=0
5) λ∗j>=0

条件3)的由来：拉格朗日乘子式，求导，且等于0，将x=x^*代入，可获得（4）。

证明：

待定。。。。