摘要：一、概论 对于给定的n维（两种类型）数据（训练集），找出一个n-1维的面，能够“尽可能”地按照数据类型分开。通过这个面，我们可以通过这个面对测试数据进行预测。 例如对于二维数据，要找一条直线，把这些数据按照不同类型分开。我们要通过PLA算法，找到这条直线，然后通过判断预测数据与这条... 阅读全文

摘要：一、概论 C4.5主要是在ID3的基础上改进，ID3选择（属性）树节点是选择信息增益值最大的属性作为节点。而C4.5引入了新概念“信息增益率”,C4.5是选择信息增益率最大的属性作为树节点。 二、信息增益 以上公式是求信息增益率（ID3的知识点） 三、信息增益率 信息增益率是在求... 阅读全文

摘要：一、决策树概论 决策树是根据训练数据集，按属性跟类型，构建一棵树形结构。可以按照这棵树的结构，对测试数据进行分类。同时决策树也可以用来处理预测问题（回归）。二、决策树ID3的原理 有多种类型的决策树，本文介绍的是ID3算法。 首先按照... 阅读全文