03 2017 档案

《机器学习技法》---GBDT
摘要：1 对决策树使用adaboost 对决策树使用adaboost时，有以下几个问题： （1）adaboost每次更新的样本权重如何应用到决策树中？ 由于我们不知道决策树的err目标是什么，因此通常的方法是根据权重对样本采样，然后给决策树训练，这样我们不需要修改决策树算法本身，样本的权重信息就传进去了。 阅读全文
posted @ 2017-03-27 10:53 coldyan 阅读(312) 评论(0) 推荐(0)
trie树
只有注册用户登录后才能阅读该文。
posted @ 2017-03-19 19:28 coldyan 阅读(19) 评论(0) 推荐(0)
并查集
只有注册用户登录后才能阅读该文。
posted @ 2017-03-19 19:11 coldyan 阅读(19) 评论(0) 推荐(0)
算法题整理
只有注册用户登录后才能阅读该文。
posted @ 2017-03-15 23:01 coldyan 阅读(26) 评论(0) 推荐(0)
jiuzhang Advance
只有注册用户登录后才能阅读该文。
posted @ 2017-03-14 21:21 coldyan 阅读(62) 评论(0) 推荐(0)
《机器学习技法》---支持向量回归
摘要：1 核型岭回归 首先，岭回归的形式如下： 在《核型逻辑回归》中我们介绍过一个定理，即以上这种形式的问题，求得的w都能表示为z的线性组合： 因此我们把w代入，问题就转化为求β的问题，同时引入核技巧： 求解这个问题，先求梯度： 令梯度为0，可以直接解出β： 上式中，可保证逆矩阵一定存在，因为K是半正定的 阅读全文
posted @ 2017-03-08 11:14 coldyan 阅读(6143) 评论(0) 推荐(0)
《机器学习技法》---随机森林
摘要：1 随机森林 bagging的好处是降低各个子分类器的variance，而决策树又是对数据敏感的算法，variance比较大。因此我们很自然地就把bagging用到了决策树。也就是基本的随机森林算法： 随机森林的好处是： （1）每棵树并行化学习，非常有效率 （2）继承了CART的好处 （3）弥补了决 阅读全文
posted @ 2017-03-06 21:55 coldyan 阅读(1797) 评论(0) 推荐(0)
《机器学习技法》---决策树
摘要：1 非线性的聚合 决策树 决策树可以看作非线性的模型聚合： 递归形式是： 其中，G(x)表示决策树对应的函数，b(x)表示分叉的规则，Gc(x)是子树的模型。 2 一般决策树生成算法的框架 即，学习划分规则b(x)，然后把数据按照b(x)划分为C部分，对每一部分递归地生成子树。注意递归在一定条件停止 阅读全文
posted @ 2017-03-05 19:06 coldyan 阅读(349) 评论(0) 推荐(0)
《机器学习技法》---AdaBoost算法
摘要：1 AdaBoost的推导 首先，直接给出AdaBoost算法的核心思想是：在原数据集上经过取样，来生成不同的弱分类器，最终再把这些弱分类器聚合起来。 关键问题有如下几个： （1）取样怎样用数学方式表达出来； （2）每次取样依据什么准则； （3）最后怎么聚合这些弱分类器。 首先我们看第一个问题，如何 阅读全文
posted @ 2017-03-04 20:11 coldyan 阅读(290) 评论(0) 推荐(0)
《机器学习技法》---模型聚合
摘要：1 模型聚合的几种方式 分别有：（1）选择最好的模型；（2）每个模型均匀的投票；（3）每个模型按不同的权重投票；（4）每个模型的权重跟输入有关。 2 Uniform Blending 也就是均匀投票的聚合方式。对于二分类来说，就是： 对于多分类来说，就是： 对于回归来说，就是： 简单推导一下为什么这 阅读全文
posted @ 2017-03-03 14:24 coldyan 阅读(2055) 评论(0) 推荐(0)
《机器学习技法》---核型逻辑回归
摘要：1 无约束形式的soft-SVM 我们知道，soft-SVM的一般形式是： 这里我们把松弛变量ξn写成下面的形式（这里其实就是松弛变量的定义，如果这个点不违反硬条件，则它的松弛变量为0，否则的话，松弛变量的值就是它到底违反了多少，即yn(w*xn + b)与1的差值）: 这样写之后，原问题的约束条件 阅读全文
posted @ 2017-03-02 17:13 coldyan 阅读(2089) 评论(0) 推荐(0)