随笔分类 -  统计学习李航

统计学习方法五 逻辑回归分类
摘要：逻辑回归分类 1，概念 2，算法流程 3，多分类逻辑回归 4，逻辑回归总结 优点： 1）预测结果是界于0和1之间的概率； 2）可以适用于连续性和类别性自变量； 3）容易使用和解释； 缺点： 1）对模型中自变量多重共线性较为敏感，例如两个高度相关自变量同时放入模型，可能导致较弱的一个自变量回归符号不符 阅读全文
posted @ 2017-09-03 16:47 DamonDr 阅读(687) 评论(0) 推荐(0)
统计学习方法五 决策树分类
摘要：决策树分类 1，概念 2，决策树算法 2.1，特征选择： 熵：值越大，不确定性因素越大；条件熵：即已知x存在的情况下求y的不确定性（越小越好）；信息增益（互信息）：熵减去条件熵（度量了X在知道Y以后不确定性减少程度），越大越好； 2.2，决策树生成算法 1，ID3算法 2，c4.5算法 信息增益率等 阅读全文
posted @ 2017-09-02 21:59 DamonDr 阅读(1195) 评论(0) 推荐(0)
统计学习方法四 朴素贝叶斯分类
摘要：朴素贝叶斯分类 1，基本概念 2，算法流程 关键点：理解先验概率，条件概率，最大后验概率，下面是以极大似然估计的 3，算法改进（贝叶斯估计） 上述用极大似然估计可能会出现所要估计的概率值为0的情况，改进方法: 先验概率贝叶斯估计：K表示类别数，λ为参数：0时为极大似然估计；1时为拉普拉斯平滑 条件概 阅读全文
posted @ 2017-09-02 19:51 DamonDr 阅读(637) 评论(0) 推荐(0)
统计学习方法 三 kNN
摘要：KNN (一）KNN概念： K近邻算法是一种回归和分类算法，这主要讨论其分类概念： K近邻模型三要素： 1，距离： 2，K值的选择： K值选择过小：模型过复杂，近似误差减小，估计误差上升，出现过拟合 K值选择过大：模型过于简单，预测能力弱 K值的选择：可以通过交叉验证来确定，k一般取一个较小的值 3 阅读全文
posted @ 2017-07-03 09:09 DamonDr 阅读(411) 评论(0) 推荐(0)
统计学习方法 二 感知机
摘要：感知机 （一）概念 1，定义： （二），学习策略 1，线性可分 ：存在一个超平面将正实例和负实例划分开来，反之不可分 2，学习策略：寻找极小损失函数，通过计算误分点到超平面的距离 3，学习算法 即求解损失函数最优化的算法，借用随机梯度下降法 3.1 原始形式 学习率也叫步长（0,1] 例题： pyt 阅读全文
posted @ 2017-06-30 23:24 DamonDr 阅读(518) 评论(0) 推荐(0)
统计学习方法（一）概念
摘要：统计学习方法概论： （一），统计学习 1，统计学习的特点 2，统计学习的对象 3，统计学习的目的 4，统计学习的方法（重点：模型的集合，策略（模型的选择），算法（模型的实现调优）） （二），监督学习重要概念 1，输入空间，特征向量空间，输出空间，预测问题分为（回归问题（输出为连续即可），分类问题，标 阅读全文
posted @ 2017-06-30 21:47 DamonDr 阅读(233) 评论(0) 推荐(0)