随笔分类 -  机器学习算法

最大似然与逻辑回归
摘要：1、最大似然 多数情况下我们是根据已知条件来推算结果，而最大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值 求最大似然函数估计值的步骤： 2、机器学习算法的学习过程 这个优化函数存在解析解。例如我们求最值一般是对代价函数求导，导数为0的点一般就是最值，如果代价函数能 阅读全文
posted @ 2017-08-23 20:23 肖云 阅读(1316) 评论(1) 推荐(0)
Adaboost、RandomFrest、GBRT的区别
摘要：Adaboost、RandomFrest、GBRT都是基于决策树的组合算法 Adaboost是通过迭代地学习每一个基分类器，每次迭代中，把上一次错分类的数据权值增大，正确分类的数据权值减小，然后将基分类器的线性组合作为一个强分类器，同时给分类误差率较小的基本分类器以大的权值，给分类误差率较大的基分类 阅读全文
posted @ 2017-08-18 16:03 肖云 阅读(653) 评论(0) 推荐(0)
Apriori关联分析算法概述
摘要：概念 关联分析：从大规模数据集中寻找物品间的隐含关系。物品间关系又分为两种：频繁项集或关联规则，频繁项集是经常出现一块的物品集合；关联规则则暗示物品间存在很强的联系 关联评判标准：支持度和可信度。支持度是指数据集中包含该项集的记录所占比例，是针对项集而言；可信度（置信度）是针对一条关联规则定义的，规 阅读全文
posted @ 2017-08-18 10:56 肖云 阅读(497) 评论(0) 推荐(0)
k-means算法概述
摘要：算法过程： 优缺点： 优点：容易实现 缺点：可能收敛到局部最小值，在大规模数据上收敛较慢 思考： k值如何确定？ ISODATA算法针对这个问题进行了改进：当属于某个类别的样本数过少时把这个类别去除，当属于某个类别的样本数过多、分散程度较大时把这个类别分为两个子类别（类的自动合并和分裂） Elbow 阅读全文
posted @ 2017-08-18 09:39 肖云 阅读(4244) 评论(0) 推荐(0)
AdaBoost算法概述
摘要：Bagging是从原始数据集中进行有放回抽样，新数据集和原始数据集的大小相等，再将算法分别作用于各个数据集得到N个分类器，最后进行投票抉择（典型算法如：Bagging + 决策树 = 随机森林） Boosting是将弱分类器组装成一个强分类器，boosting是通过训练集中关注被已有分类器错分的那些 阅读全文
posted @ 2017-08-17 16:58 肖云 阅读(2324) 评论(0) 推荐(0)
支持向量机SVM知识点概括
摘要：1. SVM 支持向量机学习的目标是找到一个分离超平面，能将实例分到不同的类。间隔最大化保证了了超平面的唯一性，即不仅将正负实例点分开，对离超平面最近的点，也有足够大的确信度将它们分开。 2. 什么是函数间隔和几何间隔？ 函数间隔y(wx+b)：|wx+b|表示点x距离超平面的远近，wx+b的符号与 阅读全文
posted @ 2017-08-16 15:25 肖云 阅读(598) 评论(0) 推荐(0)
决策树知识点概括
摘要：简述 决策树是递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个好的分类的过程，这一过程也对应着特征空间的划分和决策树的构建。 开始，构建根节点，所有训练集都放在根节点，选择一个最优特征，分割数据集，若所有数据子集都能被分类正确，则构建叶节点；否则，继续对子集选择新的最优特 阅读全文
posted @ 2017-08-16 15:24 肖云 阅读(517) 评论(0) 推荐(0)
朴素贝叶斯知识点概括
摘要：1. 简述 贝叶斯是典型的生成学习方法 对于给定的训练数据集，首先，基于特征条件独立假设，学习输入/输出的联合概率分布；然后，基于此模型，对于给定的输入x，根据贝叶斯定理求后验概率最大的输出y 术语说明： 特征条件独立假设：用于分类的特征在类确定的条件下都是条件独立的。这一假设大大减少模型包含的条件 阅读全文
posted @ 2017-08-16 15:02 肖云 阅读(414) 评论(0) 推荐(0)
k近邻法（KNN）知识点概括
摘要：分类一般分为两种： 积极学习法：先根据训练集构造模型，然后根据模型对测试集分类 消极学习法：推迟建模，先简单存储训练集，等到给定测试集时再进行建模，如KNN算法。 1. 简述 KNN的核心思想就是：物以类聚，人以群分 即给定一个训练数据集，对于新的输入实例，在训练集中找到与该实例最邻近的K个实例，这 阅读全文
posted @ 2017-08-16 10:51 肖云 阅读(1082) 评论(0) 推荐(0)
机器学习的应用实例
摘要：摘自范明等译的(原著Ethem Alpaydin)《机器学习导论》第一章，参杂部分个人见解，不对之处欢迎指点 学习机器学习，应首先知道它在实际生活中的应用具体有哪些，这样有利于进一步的原理学习。 1 学习关联性 购物篮分析：即挖掘商品间的关联性，购买了商品X的用户有多大的可能性会购买商品Y，其中用户 阅读全文
posted @ 2017-07-31 15:26 肖云 阅读(3689) 评论(0) 推荐(0)