摘要：这篇博客主要介绍一种最优化的方法：牛顿法，拟牛顿法的两种实现(DFP 和 BFGS)。 牛顿法 牛顿法是一个寻找方程根的算法，迭代计算的过程如图所示。这个算法如何和函数的最优化联系起来呢？ 最优化 我们想要求解的问题如下： \(\mathop{min}\limits_{x \in R^n} f(x) 阅读全文

摘要：这篇博客主要介绍一个最优化算法——前向分步算法，接着用前向分步算法推导 Adaboost 和提升树、梯度提升。 前向分步算法 前向分步算法是一种优化方法，给定损失函数 \(L\)，预测函数 \(f(x)\)，优化目标是最小化损失函数： \(min\sum_{i=1}^{N}L(y_i, f(x_i) 阅读全文

摘要：这篇博客主要讲几种常见的集成学习方法：bagging, boosting, stacking。 简介 这一小节先简单讲讲这几种集成学习方法的思路，这几种方法的思路其实是很简单的。 bagging，是 Bootstrap aggregating 的简称，它使用了自主采样法(Boostrap)。从训练集 阅读全文

摘要：决策树 下面分成五个方面讲决策树。 简介 生成 剪枝 优缺点 sklearn 的使用建议 简介 决策树，就是模拟人类决策的树。可以将决策树理解为一系列 if-else 的决策过程。下图数据来源于员工离职预测 [7]，使用 sklearn 生成 max_depth 为 2 的决策树。对于一组数据，根据 阅读全文