Uniqe

摘要： 本节主要是填前面的坑，前面要对正则化，以及多分类的问题进行一个单独总结，这里就通过搜集一些网上资料对这两块内容进行一个总结。 1.正则化 正则化是一种回归形式，为了防止模型的过拟合的方法，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。 也就是说，正则化可以在 阅读全文

摘要： LR算法作为一种比较经典的分类算法，在实际应用和面试中经常受到青睐，虽然在理论方面不是特别复杂，但LR所牵涉的知识点还是比较多的，同时与概率生成模型、神经网络都有着一定的联系，本节就针对这一算法及其所涉及的知识进行详细的回顾。 LogisticRegression 0.前言 LR是一种经典的成熟算法 阅读全文

摘要： 梯度下降是机器学习中一种重要的优化算法，不单单涉及到经典机器学习算法，在神经网络、深度学习以及涉及到模型参数训练的很多场景都要用到梯度下降算法，因此在此单独作为1节对这部分进行总结，主要从梯度下降的原理，优化的梯度下降方法包括SGD、MBGD、Adagrad、Momentm、RMSprop、Adam 阅读全文

摘要： import random from random import random, uniform, randint, randrange, choice, sample, shuffle print(random()) # 0~1之间随机选取一个数 print(uniform(1, 10)) # 1 阅读全文

摘要： 之前看过一些有关机器学习的基础资料和视频，但很多知识点都记不太清了，现在专门开个专题，根据自己的理解将之前学过的进行回顾和整理，可能会引用一些例子和资料，资料主要来源于视频学习和《统计学习方法》一书，可能对于一些不清楚的问题会翻看一些博客等资料。 本节主要针对线性回归的原理以及梯度下降求解方法进行回 阅读全文

摘要： 上一节对XGBoost算法的原理和过程进行了描述，XGBoost在算法优化方面主要在原损失函数中加入了正则项，同时将损失函数的二阶泰勒展开近似展开代替残差（事实上在GBDT中叶子结点的最优值求解也是使用的二阶泰勒展开（详细上面Tips有讲解），但XGBoost在求解决策树和最优值都用到了），同时在求 阅读全文

摘要： XGBoost是陈天奇等人开发的一个开源项目，前文提到XGBoost是GBDT的一种提升和变异形式，其本质上还是一个GBDT，但力争将GBDT的性能发挥到极致，因此这里的X指代的“Extreme”的意思。XGBoost通过在算法和工程上进行了改进，使其在性能和精度上都得到了很大的提升，也成为了Kag 阅读全文

摘要： 前面对GBDT的算法原理进行了描述，通过前文了解到GBDT是以回归树为基分类器的集成学习模型，既可以做分类，也可以做回归，由于GBDT设计很多CART决策树相关内容，就暂不对其算法流程进行实现，本节就根据具体数据，直接利用Python自带的Sklearn工具包对GBDT进行实现。 数据集采用之前决策 阅读全文

摘要： 本打算将GBDT和XGBoost放在一起，但由于涉及内容较多，且两个都是比较重要的算法，这里主要先看GBDT算法，XGBoost是GBDT算法的优化和变种，等熟悉GBDT后再去理解XGBoost就会容易的多 GBDT算法原理 GBDT（Gradient Boosting Decision Tree） 阅读全文

摘要： 前面介绍了决策树的相关原理和实现，其实集成学习并非是由决策树演变而来，之所以从决策树引申至集成学习是因为常见的一些集成学习算法与决策树有关比如随机森林、GBDT以及GBDT的升华版Xgboost都是以决策树为基础的集成学习方法，故将二者放在一起进行讨论。本节主要介绍关于集成学习的基本原理，后面会介绍 阅读全文