拉格朗日乘数法 - Dreaming-Dan

拉格朗日乘数法

在数学最优化问题中，拉格朗日乘数法是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。

最大化 $f(x, y) \,$

受限于 $g(x, y) = c.\,$

引入新变量拉格朗日乘数 $\lambda$ ，即可求解下列拉格朗日方程

$\Lambda(x,y,\lambda) = f(x,y) + \lambda \cdot \Big(g(x,y)-c\Big),$

先看一个二维的例子：假设有函数： $f(x, y)$ ，要求其极值（最大值/最小值），且满足条件

$g\left( x,y \right) = c,$

c 为常数。对不同 $d_n$ 的值，不难想像出

$f \left( x, y \right)=d_n$

的等高线。而方程 $g$ 的可行集所构成的线正好是 $g ( x, y ) = c$ 。想像我们沿着 $g = c$ 的可行集走；因为大部分情况下 $f$ 的等高线和 $g$ 的可行集线不会重合，但在有解的情况下，这两条线会相交。想像此时我们移动 $g = c$ 上的点，因为 $f$ 是连续的方程，我们因此能走到 $f \left( x, y \right)=d_n$ 更高或更低的等高线上，也就是说 $d_n$ 可以变大或变小。只有当 $g = c$ 和 $f \left( x, y \right)=d_n$ 相切，也就是说，此时，我们正同时沿着 $g = c$ 和 $f \left( x, y \right)=d_n$ 走。这种情况下，会出现极值或鞍点。

气象图中就很常出现这样的例子，当温度和气压两列等高线同时出现的时候，切点就意味着约束极值的存在。

用向量的形式来表达的话，我们说相切的性质在此意味着 $f$ 和 $g$ 的斜率在某点上平行。此时引入一个未知标量λ，并求解：

$\nabla \Big[f \left(x, y \right) + \lambda \left(g \left(x, y \right) - c \right) \Big] = 0$

且λ ≠ 0.

一旦求出λ的值，将其套入下式，易求在无约束极值和极值所对应的点。

$F \left( x , y \right)$ = $f \left( x , y \right) + \lambda \left( g \left( x , y \right) - c \right)$

新方程 $F(x,y)$ 在达到极值时与 $f(x,y)$ 相等，因为 $F(x,y)$ 达到极值时 $g(x,y)-c$ 总等于零。

posted on 2014-03-17 15:28 Dreaming-Dan 阅读(383) 评论(0) 收藏举报