Boostable

摘要： LeetCode: Reverse Words in a StringGiven an input string, reverse the string word by word. For example,Given s = "the sky is blue",return "blue is sky... 阅读全文

摘要： Foundations of Machine Learning: Rademacher complexity and VC-Dimension(2)（一） 增长函数（Growth function） 在引入增长函数之前，我们先介绍一个例子，这个例子会有助于理解增长函数这个东西。在input spac... 阅读全文

摘要： Foundations of Machine Learning: Rademacher complexity and VC-Dimension(1) 前面两篇文章中，我们在给出PAC-learnable定理时，都有一个前提假设，那就是 Hypothesis set 是有限的。但很明显，在实际中的假设... 阅读全文

摘要： Foundations of Machine Learning: The PAC Learning Framework(2)（一）假设集有限在一致性下的学习界。 在上一篇文章中我们介绍了PAC-learnable的定义，以及证明了一个例子是PAC-learnable。 这一节我们介绍当hypothe... 阅读全文

摘要： 写在最前：本系列主要是在阅读 Mehryar Mohri 等的最新书籍《Foundations of Machine Learning》以及 Schapire 和 Freund 的 《Boosting: Foundations and Algorithms》过程中所做的笔记。主要讨论三个部分的内容。... 阅读全文

摘要： VC定理的证明 本文讨论VC理论的证明，其主要内容就是证明VC理论的两个定理，所以内容非常的枯燥，但对于充实一下自己的理论知识也是有帮助的。另外，VC理论属于比较难也比较抽象的知识，所以我总结的这些证明难免会有一些错误，希望各位能够帮我指出。（一）简单版本的VC理论。 给定一个集合系统$(U,\ma... 阅读全文

摘要： 学习理论——VC维的定义以及一些例子 本文主要介绍一些学习理论上的东西。首先，我们得明确，从训练集上学习出来的分类器的最终目标是用于预测未知的样本，那么我们在训练的时候该用多少的样本才能使产生的分类器的效果尽可能的好呢？这些就是VC-理论要解决的问题。在介绍这个理论之前，我们得先介绍一个比较抽象的概... 阅读全文

摘要： 一些机器学习算法的简介 本节开始，介绍《Computer Science Theory for the Information Age》一书中第六章（这里先暂时跳过第三章），主要涉及学习以及学习的理论——VC理论。而本文主要是介绍一下什么是学习，以及一些常见的学习算法。（一）学习概念 首先，我们用一个例子来介绍什么是学习。假设我们想要用一个算法来识别不同类型的车，比如小汽车、卡车、拖拉机等。根据我们的思维以及对这个领域的知识可知道，我们可以用一系列特征来区分它们，比如我们可以用轮子的数量，发动机的动力，门的数量，车的长度，座位的数量等等来区分。假如我们有$d$个特征，那么我们可以用一个$d$- 阅读全文

摘要： 高维空间中的高斯分布和随机投影（一）在高维球体表面产生均匀分布点的方法 我们来考虑一个采样问题，就是怎样在高维单位球体的表面上均匀的采样。首先，考虑二维的情况，就是在球形的周长上采样。我们考虑如下方法：第一，先在一个包含该圆形的外接正方形内均匀的采样；第二，将采样到的点投影到圆形上。具体地说就是，第一，先独立均匀的从区间$[-1,1]$（我们假设圆形跟正方形的中心点都在原点）内产生两个值组成一个二维的点$(x_1,x_2)$；第二，将该二维点投影到圆形上。例如，如下图所示，如果我们产生点是图中的A,B两点，那么投影到圆形上就是C点，如果产生的是点D，那么投影到圆形上就是E点。但是，用这样的方法 阅读全文

摘要： 高维空间中的正方体和Chernoff Bounds 本文将介绍高维空间中正方体的一些性质，以及一个非常常见也是非常有用的概率不等式——Chernoff Bounds。 考虑$d$维单位正方体$C=\{x|0\leq x_i\leq 1,i=1,\cdots,d\}$，其中心点为$(\frac{1}{2},\cdots,\frac{1}{2})$，体积为1。现在我们将其半径收缩到$1-\frac{c}{d}$，其体积为$(1-\frac{c}{d})^d\leq e^{-c}$，所以当$d$很大时，高维正方体的体积总是分布在其边缘地带。 定义超平面$H=\{x|\sum_{i=1}^dx_i=\ 阅读全文