机器学习系列——预备基础（三）拉格朗日乘数法

1、定义

• 在数学最优问题中，拉格朗日乘数法是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法
• 这种方法将一个有 n 个变量与 k 个约束条件的最优化问题转换为一个有 n + k 个变量的方程组的极值问题，其变量不受任何约束
• 这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。

2、几何解释

• 设三维空间的曲面 z=f(x,y) ，在限制条件 g(x,y)=c 之下，求其极值
• f 的等高线如下图。此时，约束 g(x,y)=c 由于只有一个自由度，因此也是图中的一条曲线（红色曲线所示）

                      

 

• 显然地，当约束曲线 g(x,y)=c 与某一条等高线 f=d1 相切时，函数 f  取得极值（在约束条件前提下的极值）
• 两曲线相切等价于两曲线在切点处拥有共线的法向量，因此可得函数 f(x,y) 与 g(x,y) 在切点处的梯度成正比。
• 两个函数的全微分如下，二者在切点处成比例

                   

• 在切点处，由于 df 和 dg 成比例，且 dx 和 dy 是任取的无穷小量，故该线性方程组的系数成比例，即

                  

• 即

                     ，    

• 将上二式分别乘以 dx 和 dy，再积分并相加，得到一新函数（C 为常数）

                 

• 此处构建一个函数 

                 

 

• 求解原始空间曲面条件极值的问题，最终转化为求函数  极值的问题

                

PS：解析不够透彻，可参考知乎上大佬的解答

https://zhuanlan.zhihu.com/p/39354973

https://www.zhihu.com/question/38586401

https://zhuanlan.zhihu.com/p/55719829