摘要: 1 决策树概述 1.1 决策树模型简介 决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶子节点代表一种类别。 树的组成: 根节点:第一个选择点非叶子结点与分支:中间过程叶子节点:最终的决策结果 1.2 决策树建立步骤 1.3 三种经典的决策树生成算法 决策 阅读全文
posted @ 2022-10-17 22:10 老袁1 阅读(1341) 评论(0) 推荐(0) 编辑
摘要: 以下内容来自刘建平Pinard-博客园的学习笔记。 奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一 阅读全文
posted @ 2022-10-25 09:38 老袁1 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 1 CART算法 CART全称叫Classification and Regression Tree,即分类与回归树。CART假设决策树是二叉树,内部结点特征的取值只有“是”和“否”,左分支是取值为“是”的分支,有分支则相反。这样的决策树等价于递归地二分每个特征。 CART分类回归树可以做分类或者回 阅读全文
posted @ 2022-10-21 10:59 老袁1 阅读(1419) 评论(0) 推荐(1) 编辑
摘要: 1 决策树的剪枝 当输入的原始数据有较多的变量时,通过决策树算法生成的决策树可能会非常的庞大。这样的一颗决策树在训练集上有很好的表现,但是在测试集上的表现往往不甚理想,这样的问题也被叫做过拟合问题。面对这样的问题,一般所采用的处理方法是对决策树进行剪枝,常用的剪枝算法有REP、PEP、CCP等。本文 阅读全文
posted @ 2022-10-21 10:55 老袁1 阅读(753) 评论(0) 推荐(1) 编辑
摘要: 1.准确率 准确率是指在分类中,用模型对测试集进行分类,分类正确的样本数占总数的比例: $accuracy=\frac {n_{correct}}{n_{total}} $ sklearny库中提供了一个专门对模型进行评估的包metrics,该包可以满足一般的模型评估需求。其中提供了准确率计算函数, 阅读全文
posted @ 2022-10-21 10:50 老袁1 阅读(441) 评论(0) 推荐(0) 编辑