摘要：摘要 本文概述了常见的梯度下降优化算法的不同变种，分析了初始化在优化过程中的重要性以及如何初始化，最后列举出不同优化算法的具体公式，计算过程。 优化概述 下面概述一下常见的优化算法，优化算法的核心是梯度下降，不同优化算法改进的地方在于梯度的方向和大小。可以将优化算法粗分为两大类，一类是改变方向的 M 阅读全文

摘要：einsum 入门 爱因斯坦求和(einsum)，计算指定维度元素的乘积，再求和。可以将爱因斯坦求和记法理解为懒人求和记法，省略不写 \(\Sigma\)。einsum 具有很强大的表达能力，使用 einsum 的表达式，可以表达各种各样的操作，比如矩阵乘法、矩阵转置。很多库都支持 einsum，有 阅读全文

摘要：这篇博客主要介绍一个最优化算法——前向分步算法，接着用前向分步算法推导 Adaboost 和提升树、梯度提升。 前向分步算法 前向分步算法是一种优化方法，给定损失函数 \(L\)，预测函数 \(f(x)\)，优化目标是最小化损失函数： \(min\sum_{i=1}^{N}L(y_i, f(x_i) 阅读全文

摘要：这篇博客主要讲几种常见的集成学习方法：bagging, boosting, stacking。 简介 这一小节先简单讲讲这几种集成学习方法的思路，这几种方法的思路其实是很简单的。 bagging，是 Bootstrap aggregating 的简称，它使用了自主采样法(Boostrap)。从训练集 阅读全文

摘要：决策树 下面分成五个方面讲决策树。 简介 生成 剪枝 优缺点 sklearn 的使用建议 简介 决策树，就是模拟人类决策的树。可以将决策树理解为一系列 if-else 的决策过程。下图数据来源于员工离职预测 [7]，使用 sklearn 生成 max_depth 为 2 的决策树。对于一组数据，根据 阅读全文