摘要：在前一篇文章中，我们给出了感知器和逻辑回归的求解，还将SVM算法的求解推导到了最后一步，在这篇文章里面，我们将给出最后一步的求解。也就是我们接下来要介绍的序列最小最优化算法。 序列最小最优化算法（SMO）： 首先回顾一下。我们使用广义拉格朗日函数，将目标函数和限制条件写到一起，然后证明了原始问题能够 阅读全文

摘要：这篇文章将介绍感知器、逻辑回归的求解和SVM的部分求解，包含部分的证明。本文章涉及的一些基础知识，已经在《梯度下降、牛顿法和拉格朗日对偶性》中指出，而这里要解决的问题，来自《从感知器到SVM》 、《从线性回归到逻辑回归》两篇文章。 感知器： 前面的文章已经讲到，感知器的目标函数如下： $min \ 阅读全文

摘要：计数排序：最差运行时间复杂度：，平均：，k是数字范围区间长度，n是数组长度。 这是一种稳定的线性时间排序 如果要排序的内容已知其范围，比如要排序的所有数字都是1~100之间的数（使用计数排序是最好的选择） KEY-IDEA：由于计数的范围已经确定，因此，可以开辟一个额外的空间来记录所有数字出现的次数 阅读全文

摘要：这篇文章主要介绍梯度下降、牛顿法和拉格朗日对偶性的过程和一些原理的证明。 梯度下降： 假设$f(x),x\in R^{n}$，有一阶的连续偏导数，要求解的无约束最优化问题是： $\min \limits_{x\in R^{n}}f(x)$ $x^*$表示目标函数$f(x)$的极小点。 首先解释一下为 阅读全文

摘要：这里仅介绍分类决策树。 决策树：特征作为决策的判断依据，整个模型形如树形结构，因此，称之为决策树 对于分类决策树，他们可以认为是一组if-then规则的集合。决策树的每一个内部节点有特征组成，叶子节点代表了分类的结果。父节点和子节点之间是由有向边连接，表示了决策的结果。 在这里，有必要解释一下，为什 阅读全文