摘要: 本系列笔记内容参考来源为李航《统计学习方法》 隐马尔可夫模型是可用于标注问题的统计学习模型，描述由隐藏的马尔科夫链随机生成观测序列的过程，属于生成模型。 概率计算算法 前向算法 后向算法 一些概率与期望值的计算 学习算法 隐马尔可夫模型的学习，根据训练数据是包括观测序列和对应的状态序列还是只有观测序阅读全文

摘要: 本系列笔记内容参考来源为李航《统计学习方法》 EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。迭代由 （1）E步：求期望 （2）M步：求极大 组成，称为期望极大算法。 EM算法引入 EM算法是通过不断求解下界的极大化逼近求解对数似然函数极大化的算法。 EM在监督阅读全文

摘要: 本系列笔记内容参考来源为李航《统计学习方法》 参考： [转]Adaboost 算法的原理与推导 补充提升树内容 GBDT：梯度提升决策树 Boosting主要关注降低偏差，因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成，Bagging主要关注降低方差，因此它在不剪枝的决策树、神经网阅读全文

摘要: 本系列笔记内容参考来源为李航《统计学习方法》 核函数定义 核技巧在支持向量机中的应用 正定核 函数K（x,z）满足正定核时可作为核函数。 常用核函数 非线性支持向量机学习算法阅读全文

摘要: 本系列笔记内容参考来源为李航《统计学习方法》 线性不可分的通常情况是训练数据中有一些特异点，将这些点去除后，剩下的大部分样本点组成的结合是线性可分的。即某些样本点不能满足函数间隔≥1的约束条件，据此，对每个样本点引入松弛变量，使函数间隔加上松弛变量≥1。 对偶算法 支持向量 合页损失函数阅读全文

摘要: 本系列笔记内容参考来源为李航《统计学习方法》 知识概要 线性可分支持向量机与硬间隔最大化 支持向量机的学习是在特征空间进行的。 定义 函数间隔与几何间隔 间隔最大化 用函数间隔可改写为 最大化1/||ω||和最小化1/2(||ω||)2等价，并取γ=1，得 支持向量和间隔边界 对偶算法 应用拉格朗日阅读全文

摘要: 本系列笔记内容参考来源为李航《统计学习方法》 知识概要 最大熵原理认为学习概率模型时，熵最大的模型是最好的模型。 设离散随机变量X的概率分布是P(X)，则其熵是 最大熵模型定义 首先考虑模型应满足的条件，给定训练数据集，可确定联合分布P（X,Y）的经验分布和边缘分布P（X）的经验分布 最大熵模型的学阅读全文

摘要: 本系列笔记内容参考来源为李航《统计学习方法》 逻辑斯谛回归模型 逻辑斯谛分布 二项逻辑斯谛回归模型 从对数几率角度理解模型 考察逻辑斯谛回归模型的特点，引入LR模型的定义： LR模型表达式为参数化的逻辑斯谛函数，（默认μ=0，γ=1），即 上式表示事件结果y=1的概率取值。x∈Rn+1，y∈{1，0阅读全文

摘要: 本系列笔记内容参考来源为李航《统计学习方法》 知识概要 决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。 决策树与if-then规则 可以把决策树看成一个if-then规则的集合，阅读全文

摘要: 本系列笔记内容参考来源为李航《统计学习方法》 朴素贝叶斯（navie Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 知识概要 公式推导 阅读全文