随笔分类 - 统计学习方法
摘要：条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可附随机场，条件随机场可用于不同的预测问题，书中仅讨论在标注问题的应用，主要讲述线性链条件随机场，问题变成由输入序列对输出序列预测的判别模型，形式为对数线性模型，学习方法通常是极大似然估计或正
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 隐马尔可夫模型是可用于标注问题的统计学习模型，描述由隐藏的马尔科夫链随机生成观测序列的过程，属于生成模型。 概率计算算法 前向算法 后向算法 一些概率与期望值的计算 学习算法 隐马尔可夫模型的学习，根据训练数据是包括观测序列和对应的状态序列还是只有观测序
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。迭代由 （1）E步：求期望 （2）M步：求极大 组成，称为期望极大算法。 EM算法引入 EM算法是通过不断求解下界的极大化逼近求解对数似然函数极大化的算法。 EM在监督
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 参考： [转]Adaboost 算法的原理与推导 补充提升树内容 GBDT：梯度提升决策树 Boosting主要关注降低偏差，因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成，Bagging主要关注降低方差，因此它在不剪枝的决策树、神经网
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 核函数定义 核技巧在支持向量机中的应用 正定核 函数K（x,z）满足正定核时可作为核函数。 常用核函数 非线性支持向量机学习算法
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 线性不可分的通常情况是训练数据中有一些特异点，将这些点去除后，剩下的大部分样本点组成的结合是线性可分的。即某些样本点不能满足函数间隔≥1的约束条件，据此，对每个样本点引入松弛变量，使函数间隔加上松弛变量≥1。 对偶算法 支持向量 合页损失函数
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 知识概要 线性可分支持向量机与硬间隔最大化 支持向量机的学习是在特征空间进行的。 定义 函数间隔与几何间隔 间隔最大化 用函数间隔可改写为 最大化1/||ω||和最小化1/2(||ω||)2等价，并取γ=1，得 支持向量和间隔边界 对偶算法 应用拉格朗日
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 知识概要 最大熵原理认为学习概率模型时，熵最大的模型是最好的模型。 设离散随机变量X的概率分布是P(X)，则其熵是 最大熵模型定义 首先考虑模型应满足的条件，给定训练数据集，可确定联合分布P（X,Y）的经验分布和边缘分布P（X）的经验分布 最大熵模型的学
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 逻辑斯谛回归模型 逻辑斯谛分布 二项逻辑斯谛回归模型 从对数几率角度理解模型 考察逻辑斯谛回归模型的特点，引入LR模型的定义： LR模型表达式为参数化的逻辑斯谛函数，（默认μ=0，γ=1），即 上式表示事件结果y=1的概率取值。x∈Rn+1，y∈{1，0
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 知识概要 决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。 决策树与if-then规则 可以把决策树看成一个if-then规则的集合，
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 k近邻是一种基本分类与回归方法，书中只讨论分类情况。输入为实例的特征向量，输出为实例的类别。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。 k近邻算法 给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 感知机（perceptron）是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取±1。感知机对应与输入空间中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函
阅读全文
摘要：本系列笔记内容参考来源为李航《统计学习方法》 统计学习 统计学习时关于计算机基于数据构建概率统计模型 并运用模型 对数据进行预测与分析。 统计学习的三要素： 方法 = 模型+策略+算法 统计学习由监督学习、非监督学习、半监督学习和强化学习等组成。 实现统计学习方法的具体步骤如下： （1）得到一个有限
阅读全文
浙公网安备 33010602011771号