随笔分类 - 0010.《统计学习方法（李航）》讲义
《统计学习方法》是计算机及其应用领域的一门重要的学科。《统计学习方法》全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外，每章介绍一种方法。叙述从具体问题或实例入手，由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实质，学会运用。为满足读者进一步学习的需要，书中还介绍了一些相关研究，给出了少量习题，列出了主要参考文献。
摘要：隐马尔可夫模型(hidden Markov model,HMM) 是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型.本章首先介绍隐马尔可夫模型的基本概念，然后分别叙述隐马尔可夫模型的概率计隐马尔可夫模型在语音识别、自然语言处理、算算法、学习算法以及预测算法.
阅读全文
摘要：提升(boosting) 方法是一种常用的统计学习方法,应用广泛且有效.在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能.本章首先介绍提升方法的思路和代表性的提升算法AdaBoost; 然后通过训练误差分析探讨AdaBoost 为什么能够提高学习精度
阅读全文
摘要：支持向量机(supportvectormachines,SVM) 是一种二类分类模型.它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机; 支持向量机还包括核技巧，这使它成为实质上的非线性分类器.支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(conve
阅读全文
摘要：决策树(decision tree) 是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习
阅读全文
摘要：朴素贝叶斯(naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。
阅读全文
摘要：k 近邻法(k-nearest neighbor,k-NN) 是一种基本分类与回归方法。本书只讨论分类问题中的k近邻法。k近邻法的输入为实例的特征向量，对应于特征空间的点;输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例
阅读全文
摘要：感知机(perceptron) 是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值.感知机对应于输入空间(特征空间) 中将实例划分为正负两类的分离超平面，属于判别模型.感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降
阅读全文
摘要：本章简要叙述统计学习方法的一些基本概念。这是对全书内容的概括，也是全书内容的基础。首先叙述统计学习的定义、研究对象与方法； 然后叙述监督学习，这是本书的主要内容； 接着提出统计学习方法的三要素： 模型、策略和算法；介绍模型选择，包括正则化、交叉验证与学习的泛化能力； 介绍生成模型与判别模型； 最后介
阅读全文
浙公网安备 33010602011771号