随笔分类 - 机器学习
摘要：【机器学习】条件随机场conditional random field，给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型。特点是假设输出随机变量构成马尔可夫随机场。条件随机场可用于不同的预测问题。主要的线性链条件随机场，是对输入序列对输出序列预测的判别模型，形成为对数线性模型，学习方法常为极大似然估计或正则化极大似然估计，可应用于标注问题，2001年Lafferty提出。
阅读全文
摘要：本篇随笔主要介绍EM算法（期望最大值算法），目的是求解含有隐变量的高绿模型参数难以求解的问题。同时解答了上篇探究HMM模型时用到的一种方法，放在这里稍作介绍。
阅读全文
摘要：【机器学习】隐马尔可夫模型（hidden Markov model，HMM）是可用于标注问题的统计学习模型，描述由隐藏马尔科夫链随机生成的观测序列的过程，属于生成模型。在语音识别，自然语言处理，生物信息，模式识别有广泛的应用。
阅读全文
摘要：Boosting在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。AdaBoost最具代表性，由Freund和Schapire在1995年提出；Boost树在2000年由Friedman提出。
阅读全文
摘要：support vector machines,SVM是二类分类模型。定义在特征空间上间隔最大的线性分类器，由于包括核技巧实质上成为非线性分类器。学习策略是间隔最大化，可形式化为求解凸二次规划问题（convex quadratic programming）。求解算法是求解凸二次规划的最优化算法。 S
阅读全文
摘要：我们知道，线性回归能够进行简单的分类，但是它有一个问题是分类的范围问题，只有加上一个逻辑函数，才能使得其概率值位于0到1之间，因此本次介绍逻辑回归问题。同时，最大熵模型也是对数线性模型，在介绍最大熵模型的同时需要了解拉格朗日对偶法对约束最优化问题的求解，在文章末有几个关于牛顿法的链接，可供拓展阅读。
阅读全文
摘要：顾名思义，决策树model是树形结构，在分类中，表示基于特征对实例进行分类的过程。可以认为是“if-else”的合集，也可以认为是特征空间，类空间上条件概率分布。主要优点是分类速度快，可读性好。在学习时（training）根据loss function最小化原则建立决策树model，预测时对新数据利
阅读全文
摘要：1 朴素贝叶斯法的学习与分类1.1 基本原理2 参数估计2.1 极大似然估计2.2 算法2.3 贝叶斯估计 1 朴素贝叶斯法的学习与分类 Naive Bayes是基于贝叶斯定理和特征条件独立的假设的分类方法。对于给定的训练数据，首先基于特征条件独立学习输入和输出的联合概率分布，然后基于此模型，对给定
阅读全文
摘要：1 k近邻算法2 模型2.1 距离测量2.2 k值选择2.3 分类决策规则3 kNN的实现——kd树3.1 构造kd树3.2 kd树搜索 1 k近邻算法 k nearest neighbor，k-NN，是一种基本分类与回归的方法，输入为实例的特征向量——对应空间的点，输出为实例的类别，可取多类。kN
阅读全文
摘要：1 感知机模型1.1 模型定义2 感知机学习策略2.1 数据的线性可分性2.2 学习策略3 学习算法3.1 算法原始形式3.2 收敛性3 学习算法的对偶形式 1 感知机模型 感知机perceptron是二类分类问题的线性分类模型，输入为实例的特征向量，输出为实例的类别（+1，-1）。感知机旨在求出训
阅读全文
摘要：写在前面的话：这是我开通博客后的第一篇随笔，主要是在第二次阅读 李航《统计学习方法》感觉有必要记录和整理之前的笔记，因此写在这里，以便查阅和分享，详细内容还需认真读书才行。我才疏学浅，不及入门，如有不正确的地方请读者或批评或指正或建议，我必改之！其后还会整理出本书的所有内容！ 1 统计学习（stat
阅读全文