随笔分类 -  《统计学习方法》

摘要：条件随机场（CRF） 0. 预备知识 0.1 概率图模型（Probabilistic Graphical Model，PGM） 概念：图结构，结点（node）表示随机变量，边（edge）表示结点间关系。简而言之，不相连的结点直接毫无关系。 分类： 有向图：贝叶斯网络，变量之间的因果关系 无向图：马尔 阅读全文

摘要：HMM（Hidden Markov Model） 相关概念 时序数据（Non-Sequential Data） vs 非时序数据（Sequential Data） 时序数据：文本、天气（长度不固定） 时序模型：HMM、CRF、RNN、LSTM 背景介绍 马尔可夫过程 概念：大概的意思就是未来只与现在 阅读全文

摘要：EM算法(Expectation-Maximum) 原理篇 本质：概率模型，去估计一个密度函数，最大化对数似然函数去估计参数。无法直接用极大化对数似然函数得到模型分布的参数，用启发式跌代法，用于求解含有隐变量的最大似然估计、最大后延概率估计问题。 隐变量：对概率模型有一定的影响，但无法观测； ​ 观 阅读全文

摘要：**#关键 ##SVM SVM是二分类模型，在特征空间需要间隔最大化。可形式化为一个求解凸二次规划问题。 ###优点： 1、可以有效解决高维特征的分类和回归问题 2、无需依赖全体样本，只依赖支持向量 3、有大量的核技巧可以使用，从而可以应对线性不可分 4、样本量中等偏小照样有较好的效果 ###缺点： 阅读全文

摘要：#逻辑回归（Logistic Regression） ##定义 逻辑回归，又被称为对数几率回归，被用于监督学习-离散分类，重点是寻找最优决策边界 但结果变量和自变量的对数概率（log-odds）具有线性关系。 主要目的是使训练数据的标签值域预测出来的值之间的误差最小化。 逻辑回归主要思想就是用最大似 阅读全文

摘要：模型估计与模型选择 模型估计 当损失函数给定时，基于损失函数的模型的训练误差和模型的测试误差就成为了学习方法评估的标准。测试误误差反映了学习方法对未知的测试数据集的预测能力，又被称为泛化能力。 过拟合：一味的追求提高训练数据的预测能力，所选模型的复杂度则往往会比真模型更高，但会造成过拟合。为了防止过 阅读全文

摘要：1.1统计学习 1.统计学习的特点 基于 数据 、构建概率统计 模型 、进行预测。 学习是一个系统不断优化的过程，统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。 统计学习三要素： 模型、策略、算法 2.统计学习的对象 数据 ，数据起到算法迭代更新的效果，且大数据具有多维度、数据 阅读全文