摘要：# 1 XGBoost的基础思想与实现 ## 1.1 XGBoost pk 梯度提升树 极限提升树XGBoost(Extreme Gradient Boosting，XGB，发音/æks-g-boost/)是基于梯度提升树GBDT全面升级的新一代提升算法，也是提升家族中最富盛名、最灵活、最被机器学习 阅读全文

摘要：上一个博客AdaBoost算法只能说是开山鼻祖，今天要说的这个GBDT才是Boosting领域里面最为强大的算法之一。XGBoost和LightGBM也是在这个算法的基础上进行改进。 # 1 梯度提升树的基本思想 梯度提升树（Gradient Boosting Decision Tree，GBDT） 阅读全文

摘要：# 1 Boosting方法的基本思想 在集成学习的“弱分类器集成”领域，除了降低方差来降低整体泛化误差的装袋法Bagging，还有专注于**降低整体偏差**来降低泛化误差的提升法Boosting。相比起操作简单、大道至简的Bagging算法，Boosting算法在操作和原理上的难度都更大，但由于专 阅读全文

摘要：集成学习是工业领域中应用最广泛的机器学习算法。实际工业环境下的数据量往往十分巨大，一个训练好的集成算法的复杂程度与训练数据量高度相关，因此企业在应用机器学习时通常会提供强大的计算资源作为支持，也因此当代的大部分集成算法都是支持GPU运算的（相对的，如果你发现一个算法在任何机器学习库中，都没有接入GP 阅读全文

摘要：sklearn在2022年进行了一次大的更新。 这里我们跟新的时候要先更新pip: ``` pip install --upgrade scikit-learn ``` # 1 集成学习的三大关键领域 集成学习（Ensemble learning）是机器学习中最先进、最有效、最具研究价值的领域之一， 阅读全文