摘要：问题描述寻找一系列合适的参数 W，使得其对应的多项式与样值点最接近。对于如何刻画“最接近”，可以定义目标函数最小化：如下图：由下图可见，当多项式的阶数（M）增加时，红色多项式曲线与样本的误差越小。当M为9时，多项式曲线通过每一个样本点。Over Fitting 问题但是多项式阶数为9时，其推广能力并不好。在测试集上，其误差反而增加，这就是过拟合（over fitting）问题。为解决Over fitting问题，将目标函数增加一项，如下图。这一过程称为 regularization。通过正则化，一部分解决了过拟合问题。下图仍然是 M=9，作用在相同数据集上的情况。可见引入的正则项控制了 Ove 阅读全文

摘要：拉格朗日乘数详细的解释见wiki，http://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0例子[编辑]很简单的例子求此方程的最大值：f(x,y) =x2y同时未知数满足x2+y2= 1因为只有一个未知数的限制条件，我们只需要用一个乘数λ.g(x,y) =x2+y2− 1Φ(x,y,λ) =f(x,y) + λg(x,y) =x2y+ λ(x2+y2− 1)将所有Φ方程的偏微分设为零，得到一个方程组，最大值是以下方程组的解中的一个：2xy+ 2λx= 0x2+ 2λy= 0x2+y2− 阅读全文