摘要：1. 什么是决策树/判定树（decision tree)? 判定树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。 2. 机器学习中分类方法中的一个重要算法 3. 构造决策树的基本算法 3.1 熵（en 阅读全文

摘要：本文选取了25封垃圾邮件和25封正常邮件，随机产生了10组测试集和40组训练集，使用朴素贝叶斯方法实现了垃圾邮件的分类。 Bayes公式 遍历每篇文档向量，扫描所有文档的单词，合并集合去重 ，并生成最终的词汇表 # 创建词汇表 # 输入：dataSet已经经过切分处理 # 输出：包含所有文档中出现的 阅读全文

摘要：本文主要利用k-近邻分类器实现手写识别系统，训练数据集大约2000个样本，每个数字大约有200个样本，每个样本保存在一个txt文件中，手写体图像本身是32X32的二值图像，如下图所示： 手写数字识别系统的测试代码： from numpy import * import operator from o 阅读全文

摘要：Python 算法伪码： 对未知类别属性的数据集中的每个点依次执行以下操作： 1）计算已知类别数据集中的点与当前点之间的距离； 2）按照距离递增次序排序； 3）选取与当前点距离最小的k个点； 4）确定前k个点所在类别的出现频率； 5）返回前k个点出现频率最高的类别作为当前点的预测分类。 欧氏距离计算 阅读全文