约束优化的理解:L-BFGS

基础知识

偏导数

关于d,可以认为是投影方向（以三维为二位例子理解）

偏导数是方向导数的子集合，还是以三维为例，偏导数是各标准方向，方向导数是各个方向

利用变换主元的思想，可以将α视作未知数，就可以得到已下的推到

也即为

直观理解

方向导数

梯度

梯度：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数,试想一个山，每一点都取梯度，则最终会得到最快的下山路径

欧几里得范数

欧几里得范数指得就是通常意义上的距离范数。例如在欧式空间里，它表示两点间的距离(向量的模长),||x||表示向量的长度.

数值优化