摘要：
0 前言 上”最优化“课，老师讲到了无约束优化的拉格朗日乘子法和KKT条件。 这个在SVM的推导中有用到，所以查资料加深一下理解。 1 无约束优化 对于无约束优化问题中，如果一个函数f是凸函数，那么可以直接通过f(x)的梯度等于0来求得全局极小值点。 为了避免陷入局部最优，人们尽可能使用凸函数作为优 阅读全文
posted @ 2019-07-14 20:37
kitiz
阅读(263)
评论(0)
推荐(0)
摘要：
1.原始问题 假设是定义在上的连续可微函数（为什么要求连续可微呢，后面再说，这里不用多想），考虑约束最优化问题： 称为约束最优化问题的原始问题。 现在如果不考虑约束条件，原始问题就是： 因为假设其连续可微，利用高中的知识，对求导数，然后令导数为0，就可解出最优解，很easy. 那么，问题来了（呵呵。 阅读全文
posted @ 2019-07-14 20:25
kitiz
阅读(119)
评论(0)
推荐(0)
摘要：
拉格朗日乘子法(Lagrange Multiplier)和 KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。当然，这两个方法求得的结果只是必要条件，只有当目标函数是凸函数的情况下，才能保证是充分必要条件。 阅读全文
posted @ 2019-07-14 18:30
kitiz
阅读(3507)
评论(0)
推荐(0)
浙公网安备 33010602011771号