摘要：决策树（decision tree）是一种基本的分类与回归方法，本章主要讨论用于分类的决策树。可以将决策树看成是一个if-then规则的集合。决策树的学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。 特征选择 特征选择在于选取对训练数据具有分类能力的特征。如果利用一个特征进行分类的结果与 阅读全文

摘要：朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。 设输入空间$\mathcal{X} \subseteq R^n$，输出空间$\mathcal{Y} = \{c_1,c_2,\cdots,c_k\}$。$X$是定义在输入空间$\mathcal{X}$上的随机变量，$Y$是定义在输出空间$\ 阅读全文

摘要：感知机对应于分离超平面，将样本划分为正负两类。对于一批训练数据，可能存在多个超平面。支持向量机（support vector machines）就是求得间隔最大的分离超平面。 （简单一点来吧。讨论线性支持向量机时，不区分书中的输入空间和特征空间。） 7.1 线性可分支持向量机 当训练数据线性可分时， 阅读全文

摘要：1、原始问题 假设$f(x)$，$c_i(x)$，$h_j(x)$是定义在$R^n$上的连续可微函数，$x \in R^n$。考虑以下三类优化问题。 1、无约束的优化问题： \begin{align*}\mathop{min}\limits_{x \in R^n}f(x)\end{align*} 这 阅读全文

摘要：感知机（perceptron）是二类分类的线性分类模型。其输入为实例的特征（一个特征对应实数，多个特征对应向量）；输出为实例的类别，取+1和-1二值。感知机对应于输入空间中将实例划分为正负两类的分离超平面。 2.1 感知机模型 假设输入空间是$X \subseteq R^{n} $，输出空间$\ma 阅读全文