摘要：基本模型 简介：决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。 决策树学习通常包括3个步骤：特征选择，决策树生成，剪枝。 决策树的内部结点表示一个特征或属性，叶结点表示一个类。 If-then：决策树路径或其对应 阅读全文

摘要：1.朴素贝叶斯分类算法（Naive Bayes Classifier） 1.1 概率： A是类别，B是特征。 P(A)是先验概率，表示每种类别分布的概率； P(B|A)是条件概率，表示在某种类别前提下，某事发生的概率；该条件概率可通过统计而得出，这里需要引入极大似然估计概念，详见后文。 P(A|B) 阅读全文

摘要：概述 k近邻法是一种基本分类与回归方法，本书只讨论用于分类； 原理：k近邻法假设给定一个训练数据集，其中实例的类别已定，分类时对于新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方法进行预测。 三要素：k值的选择，距离度量，分类决策规则 三元素选择 1.k值 k值减小意味着整体模型变复杂， 阅读全文

摘要：简介 感知机是二类分类的线性分类模型，属于判别模型，输入实例特征向量，输出实例的类别，取+1和-1。是神经网络与支持向量机的基础。 模型 $$f(x)=sign(w.x+b)$$ 几何解释： 线性方程$w.x+b=0$对应特征空间的一个超平面S，位于超平面两侧的点被分为正类或负类，S称为分离超平面。 阅读全文

摘要：1 统计学习 统计学习由监督学习、非监督学习、半监督学习和强化学习等组成，本书主要讨论监督学习。 1.1 监督学习： 监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。 方法=模型+策略+算法 1.2 三要素 统计学习三要素之一：模型 在监督学习过程中，模型就 阅读全文