随笔分类 -  Machine learning

集成学习之Xgboost
摘要：XGBoost全名叫（eXtreme Gradient Boosting）极端梯度提升，或者叫极值梯度提升算法，经常被用在一些比赛中，其效果显著。它是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包。XGBoost 所应用的算法就是 GBDT（gradi 阅读全文
posted @ 2020-04-25 14:22 大-道-至-简 阅读(2207) 评论(0) 推荐(0)
集成学习之随机森林
摘要：集成学习之bagging回顾 在之前的集成学习中我们提到有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系；另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。决策树模型中尽管有剪枝等等方法，一棵树的生成肯定还是不如多棵树，因此就有了随机森林， 阅读全文
posted @ 2020-04-14 15:19 大-道-至-简 阅读(1400) 评论(0) 推荐(0)
集成学习之梯度提升树(GBDT)算法
摘要：梯度提升树(GBDT)的全称是Gradient Boosting Decision Tree。GBDT还有很多的简称，例如GBT(Gradient Boosting Tree), GTB(Gradient Tree Boosting )，GBRT(Gradient Boosting Regressi 阅读全文
posted @ 2020-04-12 23:50 大-道-至-简 阅读(2732) 评论(0) 推荐(0)
集成学习之AdaBoost算法
摘要：1. 回顾Boosting提升算法 AdaBoost是典型的Boosting算法，属于Boosting家族的一员。在说AdaBoost之前，先说说Boosting提升算法。Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要 阅读全文
posted @ 2020-04-09 23:55 大-道-至-简 阅读(1797) 评论(0) 推荐(1)
机器学习之集成学习
摘要：集成学习(ensemble learning) 在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督 阅读全文
posted @ 2020-04-09 10:36 大-道-至-简 阅读(1267) 评论(0) 推荐(0)
4.机器学习之逻辑回归算法
摘要：理论上讲线性回归模型既可以用于回归，也可以用于分类。解决回归问题，可以用于连续目标值的预测。但是针对分类问题，该方法则有点不适应，因为线性回归的输出值是不确定范围的，无法很好的一一对应到我们的若干分类中。即便是一个二分类，线性回归+阈值的方式，已经很难完成一个鲁棒性很好的分类器了。为了更好的实现分类 阅读全文
posted @ 2020-03-21 16:56 大-道-至-简 阅读(1367) 评论(0) 推荐(0)
7.机器学习之线性回归算法
摘要：什么是线性回归(Linear Regression) 我们在初中可能就接触过，y=ax，x为自变量，y为因变量，a为系数也是斜率。如果我们知道了a系数，那么给我一个x，我就能得到一个y，由此可以很好地为未知的x值预测相应的y值。在只有一个变量的情况下，线性回归可以用方程：y = ax+b 表示；多元 阅读全文
posted @ 2020-03-20 20:46 大-道-至-简 阅读(2905) 评论(0) 推荐(0)
6.机器学习之支持向量机
摘要：SVM(support vector machine)简单的说是一个分类器，并且是一种线性分类和非线性分类都支持的二元分类算法，但经过演变，现在也支持多分类问题，也能应用到了回归问题。Vector：通俗说就是点，或是数据。Machine：也就是classifier，也就是分类器。它的基本模型是定义在 阅读全文
posted @ 2020-03-19 23:39 大-道-至-简 阅读(831) 评论(0) 推荐(0)
5.机器学习之朴素贝叶斯详解
摘要：本篇博客主要详细介绍朴素贝叶斯模型。首先贝叶斯分类器是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类器。而朴素贝叶斯分类器是贝叶斯分类器中最简单，也是最常见的一种分类方法。并且，朴素贝叶斯算法仍然是流行的十大挖掘算法之一，该算法是有监督的学习算法，解决的是分类问题。该算法的优点 阅读全文
posted @ 2020-03-18 00:03 大-道-至-简 阅读(5142) 评论(0) 推荐(0)
3.机器学习之决策树详解
摘要：本篇博客主要介绍机器学习中的决策树模型。决策树算法在机器学习中算是很经典的一个算法系列。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。决策树模型是一类算法的集合，在数据挖掘十大算法中，具体的决策树算法占有两席位置，即C4.5和CART算法。 决策树分类的思想类似于找对 阅读全文
posted @ 2020-03-16 13:09 大-道-至-简 阅读(5401) 评论(1) 推荐(2)
8.机器学习之聚类算法
摘要：分类是在一群已经知道类别标号的样本中，训练一种分类器，让其能够对某种未知的样本进行分类，分类算法属于一种有监督的学习。分类算法的分类过程就是建立一种分类模型来描述预定的数据集或概念集，通过分析由属性描述的数据库元组来构造模型。分类的目的就是使用分类对新的数据集进行划分，其主要涉及分类规则的准确性、过 阅读全文
posted @ 2020-03-13 22:23 大-道-至-简 阅读(2367) 评论(1) 推荐(0)
2.机器学习之KNN算法
摘要：K-最近邻(k-Nearest Neighbor，KNN)分类算法： 数据分析当中KNN通过测量不同特征值之间的距离来进行分类的。存在一个样本数据集合，也称作训练样本集，并且样本集中的每个数据都存在标签，所选择的邻居都是已经正确分类的对象，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签 阅读全文
posted @ 2020-03-13 14:11 大-道-至-简 阅读(884) 评论(0) 推荐(0)
1.机器学习之模型评估详解
摘要：模型评价是指对于已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程。常用的聚类模型评价指标有ARI评价法（兰德系数）、AMI评价法（互信息）、V-measure评分、FMI评价法和轮廓系数等。常用的分类模型评价指标有准确率（Accuracy）、精确率（Precision） 阅读全文
posted @ 2020-03-02 00:10 大-道-至-简 阅读(5748) 评论(1) 推荐(1)