随笔档案「2016年4月」 - jackley

《统计学习方法》笔记（9）：EM算法和隐马尔科夫模型

摘要：EM也称期望极大算法（Expectation Maximization），是一种用来对含有隐含变量的概率模型进行极大似然估计的迭代算法。该算法可应用于隐马尔科夫模型的参数估计。 1、含有隐含参数的概率模型举例？三硬币模型：A、B、C三枚硬币，这些硬币投出正面的概率分别... 阅读全文

posted @ 2016-04-12 18:58 jackley 阅读(257) 评论(0) 推荐(0)

摘要：AdaBoost是最有代表性的提升算法之一。其基本思想可以表述为：多个专家的综合判断，要优于任意一个专家的判断。 1、什么是提升算法？“装袋”（bagging）和“提升”（boost）是构建组合模型的两种最主要的方法，所谓的组合模型是由多个基本模型构成的模型，组合模型... 阅读全文

posted @ 2016-04-09 14:17 jackley 阅读(144) 评论(0) 推荐(0)

摘要：支持向量机以感知机为基础，两块内容最好结合来看，便于理解。本文首先介绍支持向量机的原理和重要概念，然后分析其应用场景以及优缺点。 1、什么是支持向量机？支持向量机是采用最优分离超平面将样本分为不同类别的二分类模型。最优分离超平面的表达式可写作：，分类决策函数为。其中的... 阅读全文

posted @ 2016-04-08 13:44 jackley 阅读(125) 评论(0) 推荐(0)

摘要：逻辑斯谛回归和最大熵模型，从原理上看二者并不十分相关，不知是不是因为篇幅都相对较小，所以将这两部分内容放到一起。本文还是从原理、应用场景以及优缺点来做简要介绍。 1、逻辑斯谛回归逻辑斯谛回归通过结合线性回归和Sigmod转换函数（f(x)=1/(1+exp(x))），... 阅读全文

posted @ 2016-04-08 13:41 jackley 阅读(159) 评论(0) 推荐(0)

摘要：决策树的主要算法在20世纪80年代就已提出，有完整的理论体系。本文依然从基本原理、应用场景、优点和缺点等四个方面对该算法进行分析。 1、基本原理决策树是一种基本的分类与回归方法，可以将其理解为一连串的if-then规则集合。构建一棵决策树一般要经过三个步骤：特征参量的... 阅读全文

posted @ 2016-04-04 16:21 jackley 阅读(130) 评论(0) 推荐(0)

摘要：慢慢发现，《统计学习方法》蛮适合有一定基础的人。这是一本重理论、轻应用的书，许多理论性的问题，在书中都可以找到答案；然而，由于缺少对应用场景的描述，并不利于初学者的快速理解。本文结合我自己的理解，从基本原理、应用场景、优点和缺点等四个方面对朴素贝叶斯算法进行分析，也... 阅读全文

posted @ 2016-04-04 16:19 jackley 阅读(88) 评论(0) 推荐(0)

摘要：本案例需要完成的任务定义如下：实现快速排序算法。快速排序的算法如下：1）选定一个值作为“枢轴”，一般选择第一个元素（理想情况下应选择中位值）；2）基于枢轴进行排序，将小于枢轴的数据排在左边，大于枢轴的数据排在右边；3）一轮排序之后，枢轴即在最终的位置；4）采用递归，... 阅读全文

posted @ 2016-04-01 23:50 jackley 阅读(110) 评论(0) 推荐(0)