摘要： 一、决策树是一种基本的分类与回归方法。二、决策树学习的三个步骤：特征选择、生成决策树、决策树修剪 三、特征选择：特征选择的准则是信息增益或信息增益比 1、信息增益信息熵定义： 熵越大，随机变量的不确定性越大当随机变量只取两个值，0，1时，X的分布为： 熵为 此时，熵H(p)随概率p变化的曲线如下图所 阅读全文

摘要： Kd树 实现k近邻法时，主要考虑的问题是如何对训练数据进行快速的k近邻搜索。k近邻法最简单有效的方法是线性扫描（穷举搜索），即要计算输入实例与每一个训练实例的距离，再查找k近邻，当训练数据很大时，计算非常耗时，为提高KNN搜索效率，就引入了kd树的概念。 Kd树原理其实跟二分查找是一样的，比如上面这 阅读全文

摘要： 一、概念：KNN(K Near Neighbor):K个最近的邻居，即每个样本都可以用它最接近的K个邻居来代表。 当k=1时，？可以用红方块代表，因为k=1时，方块离？最近 当k=5时，？可以用三角代表，因为k=5时，5个离?最近的图片中，有三个是三角，少数服从多数，所以可以用三角代表 二、判别方法 阅读全文

摘要： 一、概率定义 条件概率：假设A=挂科，B=喝酒，C=逛街，D=学习 P(AꓵB)：A和B同时发生 P(A｜B) :在已知B条件的情况下，A发生的概率 已知是否喝酒，挂科的概率 喝酒并且挂科的概率 逛街并挂科的概率 学习并且挂科的概率 二、贝叶斯公式推导： ……贝叶斯公式 三、应用 问题：假如一个学生 阅读全文

摘要： 一、欧氏距离(Euclidean Distance) 1、定义：两点间的直线距离 2、公式： （1）、二维平面a(x1,y1),b(x2,y2)的欧式距离 （2）、三维平面a(x1,y1,z1),b(x2,y2,z2)的欧式距离 3、代码实现： 以下python代码都依赖包numpy、math #E 阅读全文

摘要： 分类： 目前机器学习主流分为：监督学习，无监督学习，半监督学习，强化学习。 1、监督学习： 监督学习可分为“回归”和“分类”问题。 在回归问题中，我们会预测一个连续值。也就是说我们试图将输入变量和输出用一个连续函数对应起来；而在分类问题中，我们会预测一个离散值，我们试图将输入变量与离散的类别对应起来 阅读全文

摘要： A、先确定k值，上图中k取2，随机然后选取质心为P1,P2 B、分别计算其它各点到这两个点的距离 C、选取距离近的点到相应的队列，如点离P1近，就把该点归到P1队列，如点离P2近，即把该点归到P2队列 D、根据公式，再取两个队列的虚拟质心，即两个队列中的所有点距离的平均值 E、再次选距离近的点到相应 阅读全文