随笔分类 -  机器学习算法

SVM支持向量机——核函数、软间隔
摘要：支持向量机的目的是寻找一个能讲两类样本正确分类的超平面，很多时候这些样本并不是线性分布的。 由此，可以将原始特征空间映射到更高维的特征空间，使其线性可分。而且，如果原始空间是有限维，即属性数量有限， 那么一定存在一个高维特征空间使样本可分。 k(.,.)就是核函数。整理后 定理证明：只要一个对称函数 阅读全文
posted @ 2018-08-22 11:05 我不是小鲁班 阅读(1161) 评论(0) 推荐(0)
分类问题中的过采样和欠采样
摘要：在分类问题中，有存在正反例数目差异较大的情况，这种情况叫做类别不平衡。 针对这种问题，解决方式主要有3种：假设正例数量大，反例数目极小。 1、减少正例的数量，使得数据平衡，再进一步分类，这种情况属于“欠采样”； 2、增加反例的数目平衡数据，再分类，这种称为“过采样”； 3、阈值移动：直接使用原始数据 阅读全文
posted @ 2018-08-03 15:38 我不是小鲁班 阅读(6885) 评论(0) 推荐(0)
决策树及其剪枝原理
摘要：决策树可以分成ID3、C4.5和CART。 CART与ID3和C4.5相同都由特征选择，树的生成，剪枝组成。但ID3和C4.5用于分类，CART可用于分类与回归。 ID3和C4.5生成的决策树可以是多叉的，每个节点下的叉树由该节点特征的取值种类而定，比如特征年龄分为（青年，中年，老年），那么改节点下 阅读全文
posted @ 2018-08-03 10:16 我不是小鲁班 阅读(17511) 评论(0) 推荐(0)
逻辑回归和sigmoid函数分类
摘要：逻辑回归和sigmoid函数分类：容易欠拟合，分类精度不高，计算代价小，易于理解和实现 sigmoid函数与阶跃函数的区别在于：阶跃函数从0到1的跳跃在sigmoid函数中是一个逐渐的变化，而不是突变。 logistic 回归分类器：在每个特征上乘以一个回归系数，然后将所有的结果值相加，将这个总和代 阅读全文
posted @ 2018-07-31 14:01 我不是小鲁班 阅读(2663) 评论(0) 推荐(0)
决策树预测活动类型
摘要：预测结果： 决策树预测准确率: 40.238367% 随机森林算法： 预测结果： 随机森林预测准确率: 46.861539% 阅读全文
posted @ 2018-06-04 16:10 我不是小鲁班 阅读(380) 评论(0) 推荐(0)
3—决策树
摘要：这个监督式学习算法通常被用于分类问题。令人惊奇的是，它同时适用于分类变量和连续因变量。在这个算法中，我们将总体分成两个或更多的同类群。这是根据最重要的属性或者自变量来分成尽可能不同的组别。想要知道更多，可以阅读：简化决策树。 阅读全文
posted @ 2018-05-24 16:02 我不是小鲁班 阅读(153) 评论(0) 推荐(0)
2—线性、逻辑回归
摘要：线性回归 线性回归通常用于根据连续变量估计实际数值（房价、呼叫次数、总销售额等）。我们通过拟合最佳直线来建立自变量和因变量的关系。这条最佳直线叫做回归线，并且用 Y= a *X + b 这条线性等式来表示。 在这个等式中： Y：因变量 a：斜率 x：自变量 b ：截距 系数 a 和 b 可以通过最小 阅读全文
posted @ 2018-05-24 10:12 我不是小鲁班 阅读(352) 评论(0) 推荐(0)
1—概述
摘要：广义来说，有三种机器学习算法 1、 监督式学习 工作机制：这个算法由一个目标变量或结果变量（或因变量）组成。这些变量由已知的一系列预示变量（自变量）预测而来。利用这一系列变量，我们生成一个将输入值映射到期望输出值的函数。这个训练过程会一直持续，直到模型在训练数据上获得期望的精确度。监督式学习的例子有 阅读全文
posted @ 2018-05-24 09:53 我不是小鲁班 阅读(167) 评论(0) 推荐(0)