摘要： 本文讲的主要内容是协方差以及协方差矩阵。 在统计学中，我们见过的最基本的三个概念是均值，方差，标准差。假定给定了n个样本的集合，那么公式如下 均值是描述样本的平均值，标准差描述的是样本集合的各个点到均值距离的平均，体现了样本的散步程度。而方 差仅仅是标准差的平方。 实际上，上述的方差是针对一维数据的 阅读全文

摘要： 作者：@wzyer 拉格朗日乘子法无疑是最优化理论中最重要的一个方法。但是现在网上并没有很好的完整介绍整个方法的文章。我这里尝试详细介绍一下这方面的有关问题，插入自己的一些理解，希望能够对大家有帮助。本文分为两个部分：第一部分是数学上的定义以及公式上的推导；第二部分主要是一些常用方法的直观解释。初学 阅读全文

摘要： 在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能 阅读全文