摘要：这一个学习笔记将要了解决策树，在研一上机器学习这门课的时候，老师在讲到这一节的时候，举了一个例子我现在还能记得：你们坐在这里上课，就像这个决策树一样，在你人生中的每一个重要结点，你都做出了选择，经过多次的选择，走到现在这个时候（坐在这里听课），人生就像一个决策树，对于决策树而言有多个叶子结点，也就像 阅读全文

摘要：今天来了解一下比较有名的相对简单的生成模型——朴素贝叶斯法 朴素贝叶斯法中的朴素指的是什么呢？指的是简单，那么为啥它是简单的呢？因为它有一个很强的假设：特征条件独立 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布； 阅读全文

摘要：通过感知机和篇幅比较多的支持向量机的介绍后，是否对机器学习感觉到有点意思。今天，来点相比较支持向量机轻松的——$K$近邻法 $k$近邻法（k-nearest neighbor ,k-NN）是一种基本分类与回归方法。$k$近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其$k 阅读全文

摘要：在约束最优化问题中，常常利用拉格朗日对偶性（Lagrange duality）将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习方法中，例如：最大熵模型与支持向量机。这里简要叙述拉格朗日对偶性的主要概念和结果： 1. 原始问题 假设$f(x),c_i(x),h_j( 阅读全文