深夜十二点三十三

摘要： 1、剔除野值点（离群点） 野值点定义为与相应随机变量的中心点相距很远的点，这个距离通常是标准差的整数倍。例如，对于服从正态分布的随机变量，95%的点都在标准差的两倍距离内，而3倍距离则包含了99%的点。 在训练阶段，使用远离平均值的点训练，可能会对学习产生较大的误差，由此影响学习性能。若野值点是噪声 阅读全文

摘要： 基本形式 优点：线性模型形式简单、易于建模。 很多非线性模型是在线性模型的基础上通过引入层级结构或高维映射得到的。 权重矩阵直观表达了各个属性的重要性，因此具有良好解释性。 线性回归 1、线性回归介绍与离散属性转换为实数值 线性回归（linear regeression）试图学习一个线性模型以尽可能 阅读全文

摘要： Fisher线性判别分析 1、概述 在使用统计方法处理模式识别问题时，往往是在低维空间展开研究，然而实际中数据往往是高维的，基于统计的方法往往很难求解，因此降维成了解决问题的突破口。 假设数据存在于d维空间中，在数学上，通过投影使数据映射到一条直线上，即维度从d维变为1维，这是容易实现的，但是即使数 阅读全文

摘要： 概述 隐马尔可夫模型(hidden Markov model, HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。 隐马尔科夫模型的基本概念 1、隐马尔科夫模型的定义 （1）定义10.1 (隐马尔可夫模型) 隐马尔可夫模型是关于时序的概率模型，描述由 阅读全文

摘要： 概述 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation 阅读全文

摘要： 概述 Boosting基本思想: 通过改变训练数据的概率分布（训练数据的权值分布），学习多个弱分类器，并将它们线性组合，构成强分类器。 Boosting算法要求基学习器能对特定的数据分布进行学习，这可通过“重赋权法”（re-weighting）实施。对无法接受带权样本的基学习算法，则可通过“重采样法 阅读全文

摘要： 概述 支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadrat 阅读全文

摘要： 转自：https://blog.csdn.net/xierhacker/article/details/72673207（ps：这个博主其他的博文都很精彩） 阅读全文

摘要： 概述 逻辑回归(logistic regression)是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型(maximum entropy model)。 逻辑回归模型与最大熵模型都属于对数线性模型。 逻辑斯蒂回归模型 1、逻辑斯蒂分布 定义6.1(逻辑分布 阅读全文

摘要： 概述 决策树(decision tree)是一种基本的分类与回归方法（此处讨论分类）。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。 学习时，利 阅读全文