摘要： 一 前言 前面的文章已经介绍了五种不同的分类器，它们各有优缺点。我们可以很自然地将不同的分类器组合起来，而这种组合结果则被成为集成方法(ensemble method)或者元算法(meta-algorithm)。使用集成方法时会有多种形式：可以是不同算法的集成，也可以是同一种算法在不同设置下的集成， 阅读全文

摘要： 将数组或者矩阵转换成列表，如下： 阅读全文

摘要： BFGS算法中需要一个N*N的矩阵，当N很大时存储这个矩阵变得很耗费计算机资源，L-BFGS算法是对BFGS算法的改造，减少期迭代过程中产生的内存开销 总结：牛顿法不仅使用了梯度还使用了梯度下降的趋势，所以能加速下降；DFP和BFGS为了弥补牛顿法的不足（海森矩阵必须可逆），它们使用迭代法分别近似海 阅读全文

摘要： 与DFP算法相比，BFGS算法性能更完善，是求解无约束非线性规划问题最常用的方法之一。 BFGS的核心公式和推导过程与DFP类似，只是互换了S(k)和Y(k)的位置 主要算法实现如下： 目标函数： 目标函数的梯度： 阅读全文

摘要： DFP算法的核心是：通过迭代的方法，对海森矩阵的变形做近似 阅读全文

摘要： 牛顿法需要计算目标函数的二阶偏导数，计算复杂，而且有时目标函数的海森矩阵无法保持正定，因此有人提出了拟牛顿法：一种类似牛顿法的方法。思路是不用二阶偏导数就构造出可以近似海森矩阵的正定对称阵。拟牛顿条件是指出了用来近似的矩阵应该满足的条件。 阅读全文

摘要： 求解非线性优化问题的有效手段 牛顿法：优点：收敛速度快 缺点：定步长迭代，有时会使函数值上升。计算量大，要求函数必须有连续的一、二阶偏导数，海森矩阵必须正定 拟牛顿法：在牛顿法的基础上加入了寻求最优步长因子 示例代码：求解目标函数的局部最小值 主函数： 目标函数： 运行结果： 阅读全文

摘要： 1、遗传算法介绍 遗传算法，模拟进化论的自然选择和生物进化构成的计算模型，一种不断选择优良个体的算法。谈到遗传，想想自然界动物遗传是怎么来的，自然主要过程包括染色体的选择，交叉，变异，这些操作后，保证了以后的个基本上是最优的，那么以后再继续迭代这样下去，就可以一直最优了。 2、解决的问题 遗传算法能 阅读全文

摘要： 第一次用opencv，正准备开始学，记录一下我的安装过程，希望对您有帮助。 装opencv之前是需要装numpy和scipy的，但是装anaconda的时候这两个库都是默认装好的，所以不用管 一、Anaconda安装 windows中安装十分简单，对照本文之前的博客就可以了。 二、opencv3.4 阅读全文

摘要： 别人的资料 解密SVM系列（一）：关于拉格朗日乘子法和KKT条件 解密SVM系列（二）：SVM的理论基础 解密SVM系列（三）：SMO算法原理与实战求解 解密SVM系列（四）：SVM非线性分类原理实验 深入理解拉格朗日乘子法（Lagrange Multiplier)和KKT条件 支持向量机通俗导论（ 阅读全文