01 2022 档案

统计学习方法学习笔记第六章(逻辑斯谛回归与最大熵模型）
摘要：逻辑斯谛分布的分布函数是S型曲线，以(μ，1/2）为中心。 常用的模型是二项逻辑斯谛回归模型，即进行二分类。逻辑斯谛回归模型的对数几率是输入x的线性函数，也就是说可以将线性函数w*x转化为概率，这样线性函数的值越接近正无穷，概率值就越接近1。 逻辑斯谛回归模型可以用极大似然估计来估计模型参数，从而得 阅读全文
posted @ 2022-01-05 16:49 维和战艇机 阅读(149) 评论(0) 推荐(0)
统计学习方法学习笔记附录B(牛顿法和拟牛顿法）
摘要：梯度下降法是通过计算某一点的梯度，然后向梯度的反方向进行迭代。 牛顿法考虑某一点的二阶泰勒展开，用黑塞矩阵的逆矩阵求解。 牛顿法相比梯度下降法收敛速度更快，但是每轮迭代的时间更长。牛顿法要求Hk的逆矩阵，过程比较复杂，而且Hk不一定正定(甚至可能不可逆)所以采用拟牛顿法来改进。 拟牛顿法是思路有两种 阅读全文
posted @ 2022-01-04 22:57 维和战艇机 阅读(196) 评论(0) 推荐(0)
统计学习方法学习笔记第五章(决策树）
摘要：决策树是对实例进行分类的树形结构，是条件概率模型。 决策树的思想和kd树有点相似。 kd_tree中，是依次扫描每一维特征，选取其中的中位数作为空间划分。 决策树要先选择哪一维最优，之后再进行划分。选取的标准是判断以哪一维作为划分标准可以让熵下降的最多（信息增益），也就是确定性增加。划分之前的熵是数 阅读全文
posted @ 2022-01-02 22:55 维和战艇机 阅读(114) 评论(0) 推荐(0)
统计学习方法学习笔记第四章(朴素贝叶斯法）
摘要：朴素贝叶斯法通过先验概率P(Y=ck)和条件概率P(X=x|Y=ck)来学习联合概率分布P(X,Y)。 朴素贝叶斯法作了条件概率独立性的假设（就是特征向量各个维度之间是相互独立的),分类器为通过计算概率最大的那一个。 后验概率最大化等价于期望风险最小化，采用极大似然估计估先验概率和条件概率。、 求P 阅读全文
posted @ 2022-01-01 23:50 维和战艇机 阅读(63) 评论(0) 推荐(0)
统计学习方法学习笔记第三章(k邻近算法）
摘要：给定一个训练集，假设实例的类别已定，给定一个新的实例，根据离其最近的k个实例的类别，通过多数表决的方式来确定新实例的类别。 k邻近模型: 在k邻近算法中，当训练集，距离度量，k值以及决策规则（如欧式距离）确定后，对于任意一个新输入的实例，它所属的类是唯一确定的。 距离度量：主要有三种度量方法（参考第 阅读全文
posted @ 2022-01-01 13:43 维和战艇机 阅读(78) 评论(0) 推荐(0)
统计学习方法学习笔记第二章(感知机）
摘要：感知机是一个二分类的线性分类模型，是神经网络和支持向量机的基础。 考虑统计学习方法三要素： 模型：f(x) = sign(w*x+b) 策略：收敛前提条件：数据集是线性可分的 学习策略：考虑每一个点到超平面的距离：(二维的点到平面距离公式），对于分类错误的数据，yi*(w*xi_b)<0，则令损失函 阅读全文
posted @ 2022-01-01 12:27 维和战艇机 阅读(60) 评论(0) 推荐(0)