随笔分类 - E、机器学习算法
摘要：周志华著《西瓜书》思维导图 第一章：https://blog.csdn.net/liuyan20062010/article/details/68489427 第二章：https://blog.csdn.net/liuyan20062010/article/details/70054668 第三章：
阅读全文
摘要：概述 针对某种数据，通过一定的特征提取手段，或者记录观测到的特征，往往得到的是一组特征，但其中可能存在很多特征与当前要解决的问题并不密切等问题。另一方面，由于特征过多，在处理中会带来计算量大、泛化能力差等问题，即所谓的“维数灾难”。 特征选择便是从给定的特征集合中选出相关特征子集的过程。特征选择也可
阅读全文
摘要：稀疏表示与字典学习 当样本数据是一个稀疏矩阵时，对学习任务来说会有不少的好处，例如很多问题变得线性可分，储存更为高效等。这便是稀疏表示与字典学习的基本出发点。 稀疏矩阵即矩阵的每一行/列中都包含了大量的零元素，且这些零元素没有出现在同一行/列，对于一个给定的稠密矩阵，若我们能通过某种方法找到其合适的
阅读全文
摘要：概述 强化学习（Reinforcement Learning，简称RL）是机器学习的一个重要分支。在强化学习中，包含两种基本的元素：状态与动作，在某个状态下执行某种动作，这便是一种策略，学习器要做的就是通过不断地探索学习，从而获得一个好的策略。例如：在围棋中，一种落棋的局面就是一种状态，若能知道每种
阅读全文
摘要：基本概念 规则学习概念：机器学习中的规则（rule）通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成"若…则…"形式的逻辑规则。规则学习（rulelearning）是从训练数据中学习出一组能用于对未见示例进行判别的规则。 形式化定义规则 左侧称为规则头 右侧称为规则体 L为规则的长
阅读全文
摘要：概述 监督学习指的是训练样本包含标记信息的学习任务，例如：常见的分类与回归算法； 无监督学习则是训练样本不包含标记信息的学习任务，例如：聚类算法。 在实际生活中，常常会出现一部分样本有标记和较多样本无标记的情形，例如：做网页推荐时需要让用户标记出感兴趣的网页，但是少有用户愿意花时间来提供标记。若直接
阅读全文
摘要：概述 在高维情形下出现的数据样本稀疏、距离计算困难等问题，是所有机器学习方法共同面临的严重障碍，被称为维数灾难。 缓解维数灾难的一个重要途径是降维，亦称为维数约简，即通过某种数学变换将原始高维属性空间转变为一个低维子空间。在这个子空间中样本密度大幅提高，距离计算也更为容易。 低维嵌入 人们观测或者收
阅读全文
摘要：概述 在'无监督学习'(unsupervised learning)中, 训练样本的标记信息是未知的, 目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律, 为进一步的数据分析提供基础。 “聚类”（clustering）算法是“无监督学习”算法中研究最多、应用最广的算法，它试图将数据集中的样
阅读全文
摘要：概述 集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能，对“弱学习器” 尤为明显。弱学习器常指泛化性能略优于随机猜测的学习器。 对于每个弱学习器而言，个体学习不能太坏，并且要有“多样性”，即学习器间具有差异。即集成个体应“好而不同”。 假设基分类器的错误率相互独立，则由Hoe
阅读全文
摘要：十种主要的统计学习方法特点总结 适用问题 分类问题是从实例的特征向量到类标记的预测问题；标注问题是从观测序列到标记序列(或状态序列)的预测问题。可以认为分类问题是标注问题的特殊情况。 分类问题中可能的预测结果是二类或多类；而标注问题中可能的预测结果是所有的标记序列，其数目是指数级的。 EM算法是含有
阅读全文
摘要：概述 条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。 条件随机场可以用于不同的预测问题，本章主要讲述线性链(linear chain)条件随机场在标注问题的应用，这
阅读全文
摘要：基本形式 优点：线性模型形式简单、易于建模。 很多非线性模型是在线性模型的基础上通过引入层级结构或高维映射得到的。 权重矩阵直观表达了各个属性的重要性，因此具有良好解释性。 线性回归 1、线性回归介绍与离散属性转换为实数值 线性回归（linear regeression）试图学习一个线性模型以尽可能
阅读全文
摘要：Fisher线性判别分析 1、概述 在使用统计方法处理模式识别问题时，往往是在低维空间展开研究，然而实际中数据往往是高维的，基于统计的方法往往很难求解，因此降维成了解决问题的突破口。 假设数据存在于d维空间中，在数学上，通过投影使数据映射到一条直线上，即维度从d维变为1维，这是容易实现的，但是即使数
阅读全文
摘要：概述 隐马尔可夫模型(hidden Markov model, HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。 隐马尔科夫模型的基本概念 1、隐马尔科夫模型的定义 （1）定义10.1 (隐马尔可夫模型) 隐马尔可夫模型是关于时序的概率模型，描述由
阅读全文
摘要：概述 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation
阅读全文
摘要：概述 Boosting基本思想: 通过改变训练数据的概率分布（训练数据的权值分布），学习多个弱分类器，并将它们线性组合，构成强分类器。 Boosting算法要求基学习器能对特定的数据分布进行学习，这可通过“重赋权法”（re-weighting）实施。对无法接受带权样本的基学习算法，则可通过“重采样法
阅读全文
摘要：概述 支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadrat
阅读全文
摘要：概述 逻辑回归(logistic regression)是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型(maximum entropy model)。 逻辑回归模型与最大熵模型都属于对数线性模型。 逻辑斯蒂回归模型 1、逻辑斯蒂分布 定义6.1(逻辑分布
阅读全文
摘要：概述 决策树(decision tree)是一种基本的分类与回归方法（此处讨论分类）。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。 学习时，利
阅读全文
摘要：概述 朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。 对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出Y。 朴素贝叶斯法的学习与分类 1、基本方法 学习：朴素贝叶
阅读全文
浙公网安备 33010602011771号