摘要: 梯度下降是机器学习中一种重要的优化算法,不单单涉及到经典机器学习算法,在神经网络、深度学习以及涉及到模型参数训练的很多场景都要用到梯度下降算法,因此在此单独作为1节对这部分进行总结,主要从梯度下降的原理,优化的梯度下降方法包括SGD、MBGD、Adagrad、Momentm、RMSprop、Adam 阅读全文
posted @ 2021-10-12 21:04 Uniqe 阅读(157) 评论(0) 推荐(0) 编辑
摘要: import random from random import random, uniform, randint, randrange, choice, sample, shuffle print(random()) # 0~1之间随机选取一个数 print(uniform(1, 10)) # 1 阅读全文
posted @ 2021-10-08 18:56 Uniqe 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 之前看过一些有关机器学习的基础资料和视频,但很多知识点都记不太清了,现在专门开个专题,根据自己的理解将之前学过的进行回顾和整理,可能会引用一些例子和资料,资料主要来源于视频学习和《统计学习方法》一书,可能对于一些不清楚的问题会翻看一些博客等资料。 本节主要针对线性回归的原理以及梯度下降求解方法进行回 阅读全文
posted @ 2021-09-20 18:15 Uniqe 阅读(190) 评论(0) 推荐(0) 编辑
摘要: 上一节对XGBoost算法的原理和过程进行了描述,XGBoost在算法优化方面主要在原损失函数中加入了正则项,同时将损失函数的二阶泰勒展开近似展开代替残差(事实上在GBDT中叶子结点的最优值求解也是使用的二阶泰勒展开(详细上面Tips有讲解),但XGBoost在求解决策树和最优值都用到了),同时在求 阅读全文
posted @ 2021-09-17 23:13 Uniqe 阅读(105) 评论(0) 推荐(0) 编辑
摘要: XGBoost是陈天奇等人开发的一个开源项目,前文提到XGBoost是GBDT的一种提升和变异形式,其本质上还是一个GBDT,但力争将GBDT的性能发挥到极致,因此这里的X指代的“Extreme”的意思。XGBoost通过在算法和工程上进行了改进,使其在性能和精度上都得到了很大的提升,也成为了Kag 阅读全文
posted @ 2021-09-11 18:02 Uniqe 阅读(88) 评论(0) 推荐(0) 编辑
摘要: 前面对GBDT的算法原理进行了描述,通过前文了解到GBDT是以回归树为基分类器的集成学习模型,既可以做分类,也可以做回归,由于GBDT设计很多CART决策树相关内容,就暂不对其算法流程进行实现,本节就根据具体数据,直接利用Python自带的Sklearn工具包对GBDT进行实现。 数据集采用之前决策 阅读全文
posted @ 2021-09-07 23:39 Uniqe 阅读(126) 评论(0) 推荐(0) 编辑
摘要: 本打算将GBDT和XGBoost放在一起,但由于涉及内容较多,且两个都是比较重要的算法,这里主要先看GBDT算法,XGBoost是GBDT算法的优化和变种,等熟悉GBDT后再去理解XGBoost就会容易的多 GBDT算法原理 GBDT(Gradient Boosting Decision Tree) 阅读全文
posted @ 2021-09-03 23:48 Uniqe 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 前面介绍了决策树的相关原理和实现,其实集成学习并非是由决策树演变而来,之所以从决策树引申至集成学习是因为常见的一些集成学习算法与决策树有关比如随机森林、GBDT以及GBDT的升华版Xgboost都是以决策树为基础的集成学习方法,故将二者放在一起进行讨论。本节主要介绍关于集成学习的基本原理,后面会介绍 阅读全文
posted @ 2021-08-30 23:41 Uniqe 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 摘要:上一节对决策树的基本原理进行了梳理,本节主要根据其原理做一个逻辑的实现,然后调用sklearn的包实现决策树分类。 这里主要是对分类树的决策进行实现,算法采用ID3,即以信息增益作为划分标准进行。 首先计算数据集的信息熵,代码如下: 1 import math 2 import numpy a 阅读全文
posted @ 2021-08-25 21:00 Uniqe 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 摘要:本部分对决策树几种算法的原理及算法过程进行简要介绍,然后编写程序实现决策树算法,再根据Python自带机器学习包实现决策树算法,最后从决策树引申至集成学习相关内容。 1.决策树 决策树作为一种常见的有监督学习算法,在机器学习领域通常有着不错的表现,决策树在生活中决策去做某件事时,会根据自己的经 阅读全文
posted @ 2021-08-19 23:01 Uniqe 阅读(221) 评论(0) 推荐(0) 编辑