虚若怀谷

摘要：本文从统计学角度讲解了CART（Classification And Regression Tree）, Bagging(bootstrap aggregation), Random Forest Boosting四种分类器的特点与分类方法，参考材料为密歇根大学Ji Zhu的pdf与组会上王博的讲解。CART（Classification And Regression Tree） Breiman, Friedman, Olshen & Stone (1984), Quinlan(1993) 思想：递归地将输入空间分割成矩形 优点：可以进行变量选择，可以克服missing da... 阅读全文

摘要：Random Forest是加州大学伯克利分校的Breiman Leo和Adele Cutler于2001年发表的论文中提到的新的机器学习算法，可以用来做分类，聚类，回归，和生存分析，这里只简单介绍该算法在分类上的应用。 Random Forest（随机森林）算法是通过训练多个决策树，生成模型，然后综合利用多个决策树进行分类。 随机森林算法只需要两个参数：构建的决策树的个数t，在决策树的每个节点进行分裂时需要考虑的输入特征的个数m。 1. 单棵决策树的构建： （1）令N为训练样例的个数，则单棵决策树的输入样例的个数为N个从训练集中有放回的随机抽取N个训练样例。 （2）令训练样例的输入特征的个数 阅读全文

摘要：随机森林是一个高度灵活的机器学习方法，拥有广泛的应用前景，从市场营销到医疗保健保险。 既可以用来做市场营销模拟的建模，统计客户来源，保留和流失。也可用来预测疾病的风险和病患者的易感性。随机森林是一个可做能够回归和分类。 它具备处理大数据的特性，而且它有助于估计或变量是非常重要的基础数据建模。这是一篇关于使用Python来实现随机森林文章。 什么是随机森林？随机 森林 是 几乎 任何 预测 问题 (甚至 非直线 部分) 的固有 选择 。 它是 一个 相对较 新 的 机器 学习 的 策略 （ 在90 年代产生于 贝尔 实验室 ) 和 它 可以 几乎用于 任何方面 。 它 属于 机器 学习 算法 一 阅读全文

摘要：版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言： 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。 模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，这些算法最终的结果是生成N(可能 阅读全文

摘要：GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAdditiveRegressionTree)，是一种用于回归的机器学习算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。当把目标函数做变换后，该算法亦可用于分类或排序。本文主要从高层明确几个GBDT概念，主要讲GBDT的两个版本以及GBDT是什么不是什么。详细介绍见文中的链接。1.GBDT的两个不同版本（重要）目前GBDT有两个不同的描述版本，两者各有支持者，读文献时要注意区分。残差版本把GBDT说成一个残差迭代树，认为每一棵回归树都在学习前N-1棵树的残差，之前我写的GBDT入门教 阅读全文

摘要：GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAdditiveRegressionTree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。后记：发现GBDT除了我描述的残差版本外还有另一种GBDT描述，两者大概相同，但求解方法（Gradient应用）不同。其区别和另一版本的介绍链接见这里。由于另一版本介绍博客中亦有不少错误，建议大家还是先看本篇，再跳到另一版本描述， 阅读全文

摘要：我们在很多Gradient Boost相关的论文及分析文章中都可以看到下面的公式：但是，对这个公式的理解，我一直也是一知半解，最近，终于下决心对其进行了深入理解。步骤1：可以看作优化目标的损失函数；步骤2：代表需要学习1~M个模型；步骤3：将前m-1个模型的组合F(X)代入损失函数L(y_i, F(X))，并对F(X)求导，求得梯度向量表达式；举例说明，如果损失函数是，则对F(X)求导，得到，当i从1取到N时，得到梯度方向的向量；步骤4：得到梯度向量之后，我们需要的是梯度向量方向上的新的模型，该模型需与梯度方向越接近越好，故，最小二乘法派上了用场，对步骤4的表达式求导，令等于0，可求得新模型的 阅读全文

摘要：版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言： 本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然听说最近Team准备做一套分布式的分类器，可能会使用Random Forest来做，下了几篇论文看了看，简单的random forest还比较容易弄懂，复杂一点的还会与boosting等算法结合（参见iccv09），对于boosting也不甚了解，所以临时抱佛脚的看了看。说起boosting，强哥之 阅读全文

摘要：引出：问题描述:给出一个序列a1,a2,a3,a4,a5,a6,a7….an,求它的一个子序列（设为s1,s2,…sn），使得这个子序列满足这样的性质，s1arr[j] && dp[j]>ans) ans = dp[j]; } dp[i] = ans+1; } ans = 0; for(int i=1; i ans) ans = dp[i]; } return ans;}算法2:时间复杂度:(NlogN):除了算法一的定义之外，增加一个数组b，b[i]用以表示长度为i最长子序列的最后一个数最小可以是多少。易证：i= b[k], 则b[k+1] = arr[i];若2. a 阅读全文

摘要：进入算法研发部，在大致了解部门的项目构成，主要职责之后，我意识到最优化算法在各个项目组中都具有重要的作用，例如CTR预估、排序等。然而，由于自己在读博期间除了“逻辑回归”以外，没有系统参与过涉及最优化的项目，因此在还没有分配到具体任务的情况下，首先自发地对最优化算法的发展历程进行了调研。心得体会如下：最优化领域中的方法虽然“多如牛毛”，但是总体上还是沿着一条“主线”发展的。这里按照时间顺序对这条“最优化之路”进行简要介绍：1.1 最速下降法（梯度法）：即以负梯度方向作为目标函数极小化方法的下降方向。首先将目标函数进行泰勒展开：：代表第k个点的自变量（向量）；:单位方向（向量），即|d|=1；： 阅读全文

摘要：一、从Multinomial Logistic模型说起1、Multinomial Logistic 令为维输入向量;为输出label;(一共k类);为模型参数向量；Multinomial Logistic模型是指下面这种形式:其中：例如：时，输出label为0和1，有：2、Maximum Likelihood Estimate and Maximum a Posteriori Estimate(1)、Maximum Likelihood Estimate 假设有数据集，为了训练一个模型通常使用极大似然法来确定模型参数：(2)、Maximum a Posteriori Estimate 假设模型 阅读全文

摘要：这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分布，即。由此可以得到联合分布。 整个模型简单描述为对于每个样例，我们先从k个类别中按多项式分布抽取一个，然后根据所对应的k个多值高斯分布中的一个生成样例，。整个过程称作混合高斯模型。注意的是这里的仍然是隐含随机变量。模型中还有. 阅读全文

摘要：作者：July、pluskid出处：结构之法算法之道blog。前言第一层、了解SVM 1.0、什么是支持向量机SVM 1.1.、线性分类 1.1.1、分类标准 1.1.2、1或-1分类标准的起源：logistic回归 1.1.3、形式化标示类 1.2、线性分类的一个例子 1.3、函数间隔Functional margin与几何间隔Geometrical margin 1.3.1、函数间隔Functional margin 1.3.2、点到超平面的距离定义：几何间隔Geometrical margin 1.4、最大间隔分类器Maximum Margin Classifier的定义 1.... 阅读全文

摘要：EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。 Jensen不等式表述如下： 如果f是凸函数，X是随机变量，那么 特别地，如果f是严格凸函数，那么当且仅当，也就是说X是常量。 这里. 阅读全文