机器学习 - 随笔分类 - wangyanphp

Aggregation（1）：Blending、Bagging、Random Forest

摘要：假设我们有很多机器学习算法（可以是前面学过的任何一个），我们能不能同时使用它们来提高算法的性能？也即：三个臭皮匠赛过诸葛亮。有这么几种aggregation的方式：一些性能不太好的机器学习算法（弱算法），如何aggregation，成为表现比较好的算法？来看一下：我们可以看出，有时候aggre 阅读全文

posted @ 2016-05-23 15:30 wangyanphp 阅读(944) 评论(1) 推荐(0)

support vector regression与 kernel ridge regression

摘要：前一篇，我们将SVM与logistic regression联系起来，这一次我们将SVM与ridge regression（之前的linear regression）联系起来。（一）kernel ridge regression 之前我们之前在做的是linear regression，现在我们希望阅读全文

posted @ 2016-05-18 16:09 wangyanphp 阅读(955) 评论(0) 推荐(0)

Probabilistic SVM 与 Kernel Logistic Regression（KLR）

摘要：本篇讲的是SVM与logistic regression的关系。（一） SVM算法概论首先我们从头梳理一下SVM（一般情况下，SVM指的是soft-margin SVM）这个算法。这个算法要实现的最优化目标是什么？我们知道这个目标必然与error measurement有关。那么，在SVM中阅读全文

posted @ 2016-05-18 15:42 wangyanphp 阅读(1569) 评论(0) 推荐(0)

Soft-Margin SVM

摘要：考虑这种情况：倘若我们使用Hard-Margin SVM，不容许一点点的错误，就会得到右边的结果。很显然，左边的结果更合理，所以在实际情况中，我们使用能够接纳一定错误（容忍噪声）的SVM，即：soft-margin SVM。合并两个条件，得：这样做有几个问题：一是我们的目标函数不再是线性的，阅读全文

posted @ 2016-05-18 11:10 wangyanphp 阅读(963) 评论(0) 推荐(0)

Hard-Margin SVM（支持向量机）

摘要：什么是Hard-Margin SVM？指的是这个向量机只适用于“数据完全可分（seperately）”的情况。（一）什么是支持向量机？上述三条直线，选择哪一条比较好？直觉上来说，最右面的那条直线最好。因为它的Margin比较胖，对数据点中混杂的噪声容忍度更高，更加robust。所以以后我们在计算阅读全文

posted @ 2016-05-16 17:30 wangyanphp 阅读(3307) 评论(0) 推荐(1)

看仪表盘——validation

摘要：先试想一下，对于一个简单的二分类问题，我们如何选择合适的算法？我们有许许多多的H，如何选择出最为合适的算法？最合理的方法是：对于每一个H，我们选择出Eout最小的g，然后对于各个g，再选择Eout最小的。然而，我们并不知道Eout怎么求。使用Ein显然不合理。我们之前就说过，Etest的作用阅读全文

posted @ 2016-05-08 16:33 wangyanphp 阅读(219) 评论(0) 推荐(0)

踩刹车——regularization

摘要：从一个问题说起：当我们使用H10去拟合曲线的时候，其实我们只想要H2的结果。如果从H10变回到H2呢？所以我们只需要添加上限制条件：w3=...=w10=0即可。现在呢，我们可以放宽一点条件：任意8个w为0即可。但是像这种问题是NP-Hard问题，需要枚举所有的情况。我们再放宽一点条件：对阅读全文

posted @ 2016-05-08 15:41 wangyanphp 阅读(336) 评论(0) 推荐(0)

过度拟合（overfitting）

摘要：我们之前解决过一个理论问题：机器学习能不能起作用？现在来解决另一个理论问题：过度拟合。正如之前我们看到的，很多时候我们必须进行nonlinear transform。但是我们又无法确定Q的值。Q过小，那么Ein会很大；Q过大，就会出现过度拟合问题。如下图所示：那么overfitting具体受什么阅读全文

posted @ 2016-05-08 10:33 wangyanphp 阅读(2689) 评论(0) 推荐(0)

Nonlinear Transform

摘要：前文中，我们已经学习了linear classification，linear regression，logistic regression三种线性方法。如何解决这种问题呢？其实很好解决，只需要加入一些二次项即可。这种思路非常简单易懂，我们关心的是：这样做会带来什么样的后果。根据之前我们讲过阅读全文

posted @ 2016-05-07 20:18 wangyanphp 阅读(326) 评论(0) 推荐(0)

最小二乘法

摘要：（一）正交集与正交基如果，S中任何两个不同的向量都正交，那么，S称为正交向量集。如果S是正交向量集并且是线性无关集，那么S是正交集。证明：同理，所有的ci都是0，所以S是线性无关集。上述证明思路在下文中会经常使用，故称之为证明方法1. （二）正交投影假设是Rn子空间W的正交基，对W中阅读全文

posted @ 2016-05-06 08:44 wangyanphp 阅读(519) 评论(0) 推荐(0)

线性模型（3）：Logistic Regression

摘要：此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》（一）Logistic Regression 原理对于分类问题，假设我们想得到的结果不是（x属于某一类）这种形式，而是（x属于某一类的概率是多少）这种形式。因为s的范围是(-∞，+∞), 而概率的范围是[0,1],所以我们需要一个映射阅读全文

posted @ 2016-04-28 16:48 wangyanphp 阅读(359) 评论(0) 推荐(0)

线性模型（2）：Linear Regression

摘要：此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》我们已经学习过PLA算法，所谓的线性模型就是：计算核心为。PLA是一种分类方法，这里介绍线性回归方法（与概率与统计中的线性回归相同）。令，则有：我们需要最小化Ein。通过上式，可以看出Ein是continuous，different 阅读全文

posted @ 2016-04-28 15:58 wangyanphp 阅读(295) 评论(0) 推荐(0)

关于Noise and Error主题的一些小知识

摘要：（一）Noise会不会对VC bound产生影响？此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》答案是不会。当信号中加入了Noise，其实对我们之前学过的内容不产生任何本质上的影响。之前《机器学习真的起作用吗？》中的分析是基于：training dataset D的来源是：（x 阅读全文

posted @ 2016-04-27 15:19 wangyanphp 阅读(198) 评论(0) 推荐(0)

机器学习真的可以起作用吗？（3）（以二维PLA为例）

摘要：前两篇文章已经完成了大部分的工作，这篇文章主要是讲VC bound和 VC dimension这两个概念。（一）前文的一点补充根据前面的讨论，我们似乎只需要用来替代来源的M就可以了，但是实际公式却不是这样的，我们需要数学上处理几个小细节。具体的处理方法不讲，只提供大体思路。可以看出，真实情况下阅读全文

posted @ 2016-04-27 14:41 wangyanphp 阅读(247) 评论(0) 推荐(0)

机器学习真的可以起作用吗？（2）（以二维PLA算法为例）

摘要：一个问题：大多数情况下，M（hypothesis set的大小）是无穷大的，例如PLA算法。那么是不是我们的原则1就不能使用了？我们试着做一些努力： Step1：寻找hypothesis set的effective number来代替M 什么意思呢？就是之前推导中，但是呢，例如在PLA算法中，h1 阅读全文

posted @ 2016-04-27 11:21 wangyanphp 阅读(545) 评论(0) 推荐(0)

机器学习真的可以起作用吗？（1）

摘要：[此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》] 机器学习真的可以起作用吗？答案是肯定的。那为什么这个问题还要拿出来讲一讲呢？考虑一个问题：现在知道了5个数据，预测其余3个xn的输出，有如下可能：我们根本没法预测！这个问题formally的表示是：对于一个整体，我们随机抽取阅读全文

posted @ 2016-04-27 11:07 wangyanphp 阅读(431) 评论(0) 推荐(0)

线性模型（1）：Perceptron Learning Algorithm (PLA)

摘要：此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》（一） PLA算法是基本的binary Classification算法。一个基本的问题是，对于银行，假设我知道用户的年龄、性别、工作、工资，那么应不应该发信用卡给他？那么它在二维空间里就是一条分割平面的直线。如何从拥有无限多h的H 阅读全文

posted @ 2016-04-26 21:15 wangyanphp 阅读(584) 评论(0) 推荐(0)

机器学习小常识

摘要：此笔记源于台湾大学林轩田老师《机器学习基石》《机器学习技法》 1. 在什么情况下使用机器学习？如果可以编写程序解决，就不需要机器学习。 2. 什么样的问题才可以使用使用机器学习？（Key Essence of Machine Learning） 3. 几个常用概念（Notation） 4. 机器学阅读全文

posted @ 2016-04-26 20:00 wangyanphp 阅读(214) 评论(0) 推荐(0)

随笔分类 - 机器学习