摘要：决策树是一种基本的分类和回归模型，也就是说既可以用于分类也可以用于回归。这里以分类为例。 决策树的学习算法包含三个步骤：特征选择，决策树的生成，决策树的剪枝 特征选择 特征选择在于选取对训练数据具有较好分类能力的特征，如果选取的特征进行分类的结果与随机分类的结果没有很大的差别，那么就不能说这个特征具 阅读全文

摘要：二项逻辑斯蒂回归模型 构建预测函数 Logistic Regression 虽然是名字带有回归，但是本质上是一种分类方法，一般情况下用于二分类的情况（也就是说输出情况一般是有两种） 我们想要的函数是能够接受所有的输入，然后预测出来类别。在这里我们引入Sigmoid函数。函数形式如下 $$g(z)=\ 阅读全文

摘要：k 近邻法（K nearest neighbor）是一种基本的分类方法 基本思路： 给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例多数属于某个类别，就把输入实例分为这个类。 算法： 输入：训练数据集 $T=\{(x_{1},y_{1}),(x_{2},y 阅读全文