_DoubleLin

摘要： 我们写完代码后，想要打包成 jar，idea 步骤如下： 1、File -> Project Structure 在Project Settings 中选择 Artifacts，然后点击 + -> JAR -> From modules with dependencies 2、选择Module 及 阅读全文

摘要： 这一个学习笔记将要了解决策树，在研一上机器学习这门课的时候，老师在讲到这一节的时候，举了一个例子我现在还能记得：你们坐在这里上课，就像这个决策树一样，在你人生中的每一个重要结点，你都做出了选择，经过多次的选择，走到现在这个时候（坐在这里听课），人生就像一个决策树，对于决策树而言有多个叶子结点，也就像 阅读全文

摘要： 今天来了解一下比较有名的相对简单的生成模型——朴素贝叶斯法 朴素贝叶斯法中的朴素指的是什么呢？指的是简单，那么为啥它是简单的呢？因为它有一个很强的假设：特征条件独立 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布； 阅读全文

摘要： 通过感知机和篇幅比较多的支持向量机的介绍后，是否对机器学习感觉到有点意思。今天，来点相比较支持向量机轻松的——$K$近邻法 $k$近邻法（k-nearest neighbor ,k-NN）是一种基本分类与回归方法。$k$近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其$k 阅读全文

摘要： 在约束最优化问题中，常常利用拉格朗日对偶性（Lagrange duality）将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习方法中，例如：最大熵模型与支持向量机。这里简要叙述拉格朗日对偶性的主要概念和结果： 1. 原始问题 假设$f(x),c_i(x),h_j( 阅读全文

摘要： 经过前三篇的学习笔记，对理论上的支持向量机算是稍微了解了，如何去求解前三篇学习笔记中的对偶问题呢？在这一篇学习笔记中将给出答案。 凸二次规划的对偶问题： $$\min_{\alpha} \frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_iy_ 阅读全文

摘要： 通过支持向量机（上）和支持向量机（中）的介绍，对支持向量机应该有点感性的认识啦！在这个学习笔记中，来继续探寻带核函数的支持向量机（解决如下图所示的问题） 对解线性分类问题，线性分类支持向量机是一种非常有效的方法。但是，有时分类问题是非线性的，这时可以使用非线性支持向量机。 核技巧： 如上图所示，设原 阅读全文

摘要： 了解了线性可分支持向量机及问题后，在这一篇笔记中，来了解一下对于线性不可分训练数据是如何使用支持向量机的。 线性支持向量机： 假设给定一个特征空间上的训练数据集 $$T =\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$ 其中，$x_i \in \mathcal{X} 阅读全文

摘要： 了解过感知机后，知道了感知机的固有缺点，那么在接下来的这三篇笔记中，将很好地解决感知机的约束。在这一篇笔记中，我将要介绍线性可分支持向量机，来解决感知机对于线性可分数据集会存在多个解的问题。 支持向量机： 支持向量机（support vector machines, SVM）是一种二类分类模型。它的 阅读全文

摘要： 在这一篇笔记中，来了解一下感知机模型（perceptron），我们将要了解感知机的模型，感知机的学习策略和感知机的学习算法，并且使用Python编程来实现书中的例子。 感知机： 感知机是神经网络与支持向量机的基础，是二类分类的线性分类模型，其输入为实列的特征向量，输出为实列的类别，取+1和-1二值（ 阅读全文