1 2 3 4

随笔分类 -  机器学习

上一页 1 2
【Python机器学习实战】决策树与集成学习（五）——集成学习（3）GBDT应用实例
摘要：前面对GBDT的算法原理进行了描述，通过前文了解到GBDT是以回归树为基分类器的集成学习模型，既可以做分类，也可以做回归，由于GBDT设计很多CART决策树相关内容，就暂不对其算法流程进行实现，本节就根据具体数据，直接利用Python自带的Sklearn工具包对GBDT进行实现。 数据集采用之前决策 阅读全文
posted @ 2021-09-07 23:39 Uniqe 阅读(869) 评论(0) 推荐(0)
【Python机器学习实战】决策树与集成学习（四）——集成学习（2）GBDT
摘要：本打算将GBDT和XGBoost放在一起，但由于涉及内容较多，且两个都是比较重要的算法，这里主要先看GBDT算法，XGBoost是GBDT算法的优化和变种，等熟悉GBDT后再去理解XGBoost就会容易的多 GBDT算法原理 GBDT（Gradient Boosting Decision Tree） 阅读全文
posted @ 2021-09-03 23:48 Uniqe 阅读(431) 评论(0) 推荐(0)
【Python机器学习实战】决策树与集成学习（三）——集成学习（1）Bagging方法和提升树
摘要：前面介绍了决策树的相关原理和实现，其实集成学习并非是由决策树演变而来，之所以从决策树引申至集成学习是因为常见的一些集成学习算法与决策树有关比如随机森林、GBDT以及GBDT的升华版Xgboost都是以决策树为基础的集成学习方法，故将二者放在一起进行讨论。本节主要介绍关于集成学习的基本原理，后面会介绍 阅读全文
posted @ 2021-08-30 23:41 Uniqe 阅读(1004) 评论(0) 推荐(0)
【Python机器学习实战】决策树和集成学习（二）——决策树的实现
摘要：摘要：上一节对决策树的基本原理进行了梳理，本节主要根据其原理做一个逻辑的实现，然后调用sklearn的包实现决策树分类。 这里主要是对分类树的决策进行实现，算法采用ID3，即以信息增益作为划分标准进行。 首先计算数据集的信息熵，代码如下： 1 import math 2 import numpy a 阅读全文
posted @ 2021-08-25 21:00 Uniqe 阅读(667) 评论(2) 推荐(0)
【Python机器学习实战】决策树和集成学习（一）——决策树原理
摘要：摘要：本部分对决策树几种算法的原理及算法过程进行简要介绍，然后编写程序实现决策树算法，再根据Python自带机器学习包实现决策树算法，最后从决策树引申至集成学习相关内容。 1.决策树 决策树作为一种常见的有监督学习算法，在机器学习领域通常有着不错的表现，决策树在生活中决策去做某件事时，会根据自己的经 阅读全文
posted @ 2021-08-19 23:01 Uniqe 阅读(912) 评论(0) 推荐(0)
【Python机器学习实战】感知机和支持向量机学习笔记（三）之SVM的实现
摘要：前面已经对感知机和SVM进行了简要的概述，本节是SVM算法的实现过程用于辅助理解SVM算法的具体内容，然后借助sklearn对SVM工具包进行实现。 SVM算法的核心是SMO算法的实现，首先对SMO算法过程进行实现，先对一些辅助函数进行定义： 1 # 先定义一些辅助函数 2 # 选取第二变量函数 3 阅读全文
posted @ 2021-08-11 20:44 Uniqe 阅读(410) 评论(0) 推荐(0)
【Python机器学习实战】感知机和支持向量机学习笔记（二）
摘要：上文主要对感知机和SVM进行了简要概括，并对感知机和SVM利用梯度下降算法求解的过程，这篇主要对SVM的对偶形式转化及求解过程进行学习。 SVM的对偶形式 理论上对于线性可分的数据，采用梯度下降对SVM进行求解和学习已能满足基本要求，但考虑到非线性数据，以及问题求解的复杂程度等问题，将SVM原始问题 阅读全文
posted @ 2021-08-06 19:50 Uniqe 阅读(223) 评论(0) 推荐(0)
【python与机器学习实战】感知机和支持向量机学习笔记（一）
摘要：对《Python与机器学习实战》一书阅读的记录，对于一些难以理解的地方查阅了资料辅以理解并补充和记录，重新梳理一下感知机和SVM的算法原理，加深记忆。 1.感知机 感知机的基本概念 感知机是运用梯度下降学习过程的最简单的机器学习算法之一，是神经网络和支持向量机的基础。具体提出是由Rosenblatt 阅读全文
posted @ 2021-08-04 19:38 Uniqe 阅读(386) 评论(0) 推荐(0)

上一页 1 2