随笔分类 - 统计学习方法
摘要：1.简介 统计学习方法都是由模型、策略和算法构成的 2.模型 在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。 模型的假设空间包含所有可能的条件概率分布或决策函数。 2.1 决策函数模型 2.2 条件概率 决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型 3 学习策略 考虑
阅读全文
posted @ 2020-04-30 19:58
秋华
摘要：1 基本分类 1.1.监督学习 输入空间(input space )：输入所有可能取值的集合 输出空间(output space)：输出所有可能取值的集合，通常输出空间远远小于输入空间 特征空间：每个具体的输入是一个实例(instance)，通常由特征向量(feature vector)表示。这时，
阅读全文
posted @ 2020-04-30 15:44
秋华
摘要：统计学习：统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。 统计学习的主要特点： （1）统计学习以计算机及网络为平台，是建立在计算机及网络上的 （2）统计学习以数据为研究对象，是数据驱动的学科 （3）统计学习的目的是对数据进行预测与分析 （4）统计学习以方法为中
阅读全文
posted @ 2020-04-30 15:10
秋华
摘要：1. 核技巧在支持向量机中的应用 2. 正定核 3. 常用核函数 3. 序列最小最优化算法
阅读全文
posted @ 2020-04-29 15:50
秋华
摘要：1 简介 有时分类问题是非线性的，这时可以使用非线性支持向量机。 1.1 非线性问题 用线性分类方法求解非线性分类问题分为两步:首先使用一个变换将原空间的数据映射到新空间;然后在新空间里用线性类学习方法从训练数据中学习分类模型。核技巧就属于这样的方法。 1.2 核技巧 2 模型 2.1 核函数 2.
阅读全文
posted @ 2020-04-29 15:22
秋华
摘要：1 简介 线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束并不能都成立。 怎么才能将它扩展到线性不可分问题呢?这就需要修改硬间隔最大化，使其成为软间隔最大化。 2 模型 2.1 相关条件 2.2 模型 3 学习策略 4 算法 对偶形式 5 概念扩展 5
阅读全文
posted @ 2020-04-29 14:12
秋华
摘要：1 简介 支持向量机(support vector machines> SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机;支持 向量机还包括核技巧，这使它成为实质卜的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规
阅读全文
posted @ 2020-04-29 11:36
秋华
摘要：1 简介 最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型(分布)中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。 2 模型 2.1 特征函数 2.2 特征函数期望 2.
阅读全文
posted @ 2020-04-28 16:45
秋华
摘要：1 简介 逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法。 最大嫡是概率模型学习的一个准则，将其推广到分类问题得到最大嫡模型(maximum entropy model )。 逻辑斯谛回归模型与最大嫡模型都属于对数线性模型。 2 模型 2.1 逻辑斯谛分布 2.2
阅读全文
posted @ 2020-04-28 15:59
秋华
摘要：1 简介 1.1 介绍 1.2 生成步骤 CART树算法由以下两步组成:(1)决策树生成:基于训练数据集生成决策树，生成的决策树要尽量大;(2)决策树剪枝:用验证数据集对己生成的树进行剪枝并选择最优子树，这时用损失函数址小作为剪枝的标准。 2 算法 2.1 回归树 对回归树用平方误差最小化准则，生成
阅读全文
posted @ 2020-04-28 14:26
秋华
摘要：1 简介 决策树模型是树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策
阅读全文
posted @ 2020-04-28 12:16
秋华
摘要：例1 极大似然佑计 第一步：先验概率及条件概率 先验概率 条件概率 第二步： 第三步：确定实例x的类 例2 贝叶斯佑计 第一步：先验概率及条件概率 先验概率 条件概率 第二步： 第三步：确定实例x的类
阅读全文
posted @ 2020-04-27 17:53
秋华
摘要：1 简介 先验概率分布 后验概率分布 2 模型 3 策略 朴素贝叶斯法将实例分到后验概率最大的类中。这等价于期望风险最小化。 4 算法 4.1 极大似然佑计 4.2 贝叶斯佑计
阅读全文
posted @ 2020-04-27 15:32
秋华
摘要：1. kd树简介 构造kd树的方法如下:构造根结点，使根结点对应于k维空间中包含所有实例点的超矩形区域;通过下面的递归方法，不断地对k维空间进行切分，生成子结点。在超矩形区域(结点)上选择一个坐标轴和在此坐标轴上的一个切分点，确定一个超平面，这个超平面通过选定的切分点并垂直于选定的坐标轴，将当前超矩
阅读全文
posted @ 2020-04-27 13:06
秋华
摘要：1 简介 k近邻法的输入为实例的特征向量，对应于特征空间的点;输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻法不具有显式的学习过程。k近邻法实际上利用训练数据集对一特征向
阅读全文
posted @ 2020-04-27 10:51
秋华
摘要：1 大数定理 1.1 弱大数定理 概念一 概念二 概念三 1.2 伯努利大数定理 2 中心极限定理 2.1 独立同分布的中心极限定理 2.2 李雅普诺夫定理 2.3 棣莫弗一拉普拉斯
阅读全文
posted @ 2020-04-26 16:51
秋华
摘要：1 数学期望 数学期望，期望，均值 2 方差 2.1 标准差，均方差 2.2 标准化变量 重要性质 2.3 切比雪夫不等式 3 协方差与相关系数 3.1 协方差、相关系数 4 矩、协方差矩阵 4.1 原点矩、中心矩、混合矩、混合中心矩 4.2 协方差矩阵 4.2.1 二维 4.2.2 n维
阅读全文
posted @ 2020-04-26 16:29
秋华
摘要：1 二维随机变量 1.1 二维随机向量（二维随机变量） 1.2 联合分布函数 1.3 离散型二维随机变量 1.4 联合分布律 1.5 连续型二维随机变量、联合概率密度 2 边缘分布 2.1 边缘分布函数 2.2 边缘分布律 2.3 边缘分布概率密度 2.4 二维正态分布 3 条件分布 3.1 条件分
阅读全文
posted @ 2020-04-24 14:06
秋华
摘要：1 随机变量 1.1 随机变量 2 离散型随机变量 2.1 离散型随机变量 有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种随机变量称为离散型随机变量 2.2 分布律 2.3 0-1分布 2.4 伯努利试验、二项分布 2.5 泊松分布 3 随机变量的分布函数 3.1 分布函数 4 连续型
阅读全文
posted @ 2020-04-23 11:23
秋华
摘要：(1) a<-0, b<-0 (2) 在训练集中选取数据（xi,yi） （3）如果yi(sum(aj·yj·xj·xi+b))<=0 更新参数w,b (4) 转至（2），直到训练集中没有误分类点 示例：
阅读全文
posted @ 2020-04-22 19:31
秋华
浙公网安备 33010602011771号