12 2018 档案

统计学习方法总结
摘要：十种主要的统计学习方法特点总结 适用问题 分类问题是从实例的特征向量到类标记的预测问题；标注问题是从观测序列到标记序列(或状态序列)的预测问题。可以认为分类问题是标注问题的特殊情况。 分类问题中可能的预测结果是二类或多类；而标注问题中可能的预测结果是所有的标记序列，其数目是指数级的。 EM算法是含有 阅读全文
posted @ 2018-12-29 21:37 深夜十二点三十三 阅读(1120) 评论(0) 推荐(0)
条件随机场
摘要：概述 条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。 条件随机场可以用于不同的预测问题，本章主要讲述线性链(linear chain)条件随机场在标注问题的应用，这 阅读全文
posted @ 2018-12-29 21:20 深夜十二点三十三 阅读(1876) 评论(0) 推荐(0)
数据预处理
摘要：1、剔除野值点（离群点） 野值点定义为与相应随机变量的中心点相距很远的点，这个距离通常是标准差的整数倍。例如，对于服从正态分布的随机变量，95%的点都在标准差的两倍距离内，而3倍距离则包含了99%的点。 在训练阶段，使用远离平均值的点训练，可能会对学习产生较大的误差，由此影响学习性能。若野值点是噪声 阅读全文
posted @ 2018-12-28 10:18 深夜十二点三十三 阅读(803) 评论(0) 推荐(0)
线性判别分析（线性回归、对数几率回归、线性判别分析和广义线性判别分析）
摘要：基本形式 优点：线性模型形式简单、易于建模。 很多非线性模型是在线性模型的基础上通过引入层级结构或高维映射得到的。 权重矩阵直观表达了各个属性的重要性，因此具有良好解释性。 线性回归 1、线性回归介绍与离散属性转换为实数值 线性回归（linear regeression）试图学习一个线性模型以尽可能 阅读全文
posted @ 2018-12-27 22:30 深夜十二点三十三 阅读(2736) 评论(0) 推荐(0)
Fisher线性判别分析
摘要：Fisher线性判别分析 1、概述 在使用统计方法处理模式识别问题时，往往是在低维空间展开研究，然而实际中数据往往是高维的，基于统计的方法往往很难求解，因此降维成了解决问题的突破口。 假设数据存在于d维空间中，在数学上，通过投影使数据映射到一条直线上，即维度从d维变为1维，这是容易实现的，但是即使数 阅读全文
posted @ 2018-12-27 22:18 深夜十二点三十三 阅读(4722) 评论(0) 推荐(2)
隐马尔科夫模型
摘要：概述 隐马尔可夫模型(hidden Markov model, HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。 隐马尔科夫模型的基本概念 1、隐马尔科夫模型的定义 （1）定义10.1 (隐马尔可夫模型) 隐马尔可夫模型是关于时序的概率模型，描述由 阅读全文
posted @ 2018-12-26 11:32 深夜十二点三十三 阅读(476) 评论(0) 推荐(0)
EM算法及其推广
摘要：概述 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation 阅读全文
posted @ 2018-12-23 20:53 深夜十二点三十三 阅读(819) 评论(0) 推荐(0)
boosting方法
摘要：概述 Boosting基本思想: 通过改变训练数据的概率分布（训练数据的权值分布），学习多个弱分类器，并将它们线性组合，构成强分类器。 Boosting算法要求基学习器能对特定的数据分布进行学习，这可通过“重赋权法”（re-weighting）实施。对无法接受带权样本的基学习算法，则可通过“重采样法 阅读全文
posted @ 2018-12-21 13:19 深夜十二点三十三 阅读(3344) 评论(0) 推荐(0)
支持向量机
摘要：概述 支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadrat 阅读全文
posted @ 2018-12-20 21:56 深夜十二点三十三 阅读(1215) 评论(0) 推荐(0)
拉格朗日函数/对偶（转）
摘要：转自：https://blog.csdn.net/xierhacker/article/details/72673207（ps：这个博主其他的博文都很精彩） 阅读全文
posted @ 2018-12-19 12:44 深夜十二点三十三 阅读(305) 评论(0) 推荐(0)
逻辑斯特回归与最大熵模型
摘要：概述 逻辑回归(logistic regression)是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型(maximum entropy model)。 逻辑回归模型与最大熵模型都属于对数线性模型。 逻辑斯蒂回归模型 1、逻辑斯蒂分布 定义6.1(逻辑分布 阅读全文
posted @ 2018-12-18 14:19 深夜十二点三十三 阅读(929) 评论(0) 推荐(0)
决策树
摘要：概述 决策树(decision tree)是一种基本的分类与回归方法（此处讨论分类）。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。 学习时，利 阅读全文
posted @ 2018-12-17 09:29 深夜十二点三十三 阅读(1488) 评论(0) 推荐(0)
朴素贝叶斯法
摘要：概述 朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。 对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出Y。 朴素贝叶斯法的学习与分类 1、基本方法 学习：朴素贝叶 阅读全文
posted @ 2018-12-16 10:29 深夜十二点三十三 阅读(653) 评论(0) 推荐(0)
详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解（转）
摘要：最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。 阅读全文
posted @ 2018-12-16 09:21 深夜十二点三十三 阅读(841) 评论(0) 推荐(0)
K近邻法
摘要：概述 k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法（此处讨论的是分类问题的K近邻算法）。 k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”，不具有显式的学习过程。 k近邻算法的特殊情况是k=1的时候，此时称为最近邻算法。 k值的选择、 阅读全文
posted @ 2018-12-15 21:44 深夜十二点三十三 阅读(963) 评论(0) 推荐(0)
感知机
摘要：概述 感知机在1957年由Rosenblatt提出，是神经网络和支持向量机的基础，它是一个二类分类的线性分类模型，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。 感知机模型 1、定义 假设输入空 阅读全文
posted @ 2018-12-15 11:08 深夜十二点三十三 阅读(408) 评论(0) 推荐(0)
统计学习（统计机器）方法概论
摘要：根据李航老师所著《统计学习方法》为线，结合其他书籍和网上资料，开始对机器学习进行系统整理。 2018.12.30：今日开始对写过的内容进行修改和细化补充，主要参考周志华教授的《机器学习》，辅以各大网友的不吝赐教。 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科。 阅读全文
posted @ 2018-12-13 21:48 深夜十二点三十三 阅读(951) 评论(0) 推荐(0)