10 2016 档案

Data Transformation / Learning with Counts
摘要：机器学习中离散特征的处理方法 Updated: August 25, 2016 Learning with counts is an efficient way to create a compact set of features for a dataset, based on counts of 阅读全文
posted @ 2016-10-31 14:34 知识天地 阅读(318) 评论(0) 推荐(0)
机器学习中的算法(1)-决策树模型组合之随机森林与GBDT
摘要：版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com。也可以加我的微博: @leftnoteasy 前言： 决策树这种算法有着很多良好的特 阅读全文
posted @ 2016-10-31 14:21 知识天地 阅读(156) 评论(0) 推荐(0)
Gradient Boosting Decision Tree学习
摘要：Gradient Boosting Decision Tree，即梯度提升树，简称GBDT，也叫GBRT（Gradient Boosting Regression Tree），也称为Multiple Additive Regression Tree（MART），阿里貌似叫treelink。首先学习G 阅读全文
posted @ 2016-10-31 14:20 知识天地 阅读(703) 评论(0) 推荐(0)
Regularization on GBDT
摘要：之前一篇文章简单地讲了XGBoost的实现与普通GBDT实现的不同之处，本文尝试总结一下GBDT运用的正则化技巧。 Early Stopping Early Stopping是机器学习迭代式训练模型中很常见的防止过拟合技巧，维基百科里如下描述: In machine learning, early 阅读全文
posted @ 2016-10-31 14:19 知识天地 阅读(1730) 评论(0) 推荐(0)
GBDT基本理论及利用GBDT组合特征的具体方法（收集的资料）
摘要：最近两天在学习GBDT，看了一些资料，了解到GBDT由很多回归树构成，每一棵新回归树都是建立在上一棵回归树的损失函数梯度降低的方向。 以下为自己的理解，以及收集到的觉着特别好的学习资料。 1、GBDT可用于回归任务和分类任务。 GBDT做回归任务时，每一棵子树的构建过程与cart回归树的建立过程相同 阅读全文
posted @ 2016-10-31 14:16 知识天地 阅读(4378) 评论(0) 推荐(0)
Deep Learning（深度学习）学习笔记整理(二）
摘要：本文整理了网上几位大牛的博客，详细地讲解了CNN的基础结构与核心思想，欢迎交流。 [1]Deep learning简介 [2]Deep Learning训练过程 [3]Deep Learning模型之：CNN卷积神经网络推导和实现 [4]Deep Learning模型之：CNN的反向求导及练习 [5 阅读全文
posted @ 2016-10-10 18:29 知识天地 阅读(7340) 评论(0) 推荐(1)
Deep Learning（深度学习）学习笔记整理
摘要：申明：本文非笔者原创，原文转载自：http://www.sigvc.org/bbs/thread-2187-1-3.html 4.2、初级（浅层）特征表示 既然像素级的特征表示方法没有作用，那怎样的表示才有用呢？ 1995 年前后，Bruno Olshausen和 David Field 两位学者任 阅读全文
posted @ 2016-10-10 18:27 知识天地 阅读(1046) 评论(0) 推荐(0)
GBDT的基本原理
摘要：这里以二元分类为例子，给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算，注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算方法框 阅读全文
posted @ 2016-10-10 18:21 知识天地 阅读(639) 评论(1) 推荐(0)
机器学习中的算法——决策树模型组合之随机森林与GBDT
摘要：前言： 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。 美国金融银行业的大数据算法 阅读全文
posted @ 2016-10-10 18:05 知识天地 阅读(3745) 评论(0) 推荐(0)
机器学习（四）--- 从gbdt到xgboost
摘要：gbdt（又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree），是一种迭代的决策树算法，该算法由多个决策树组成。它最早见于yahoo，后被广泛应用在搜索排序、点击率预估上。 xgboost是陈天奇大牛新开发的Boostin 阅读全文
posted @ 2016-10-10 18:04 知识天地 阅读(16211) 评论(0) 推荐(0)
Visual Studio 2013新建工程导入现有代码文件夹并且保持目录结构
摘要：本文提供了一个在Windows环境下使用Visual Studio 2013编辑现有源代码并且保持目录结构的方法。本文使用VS2013中文社区版做示例（本版本为免费版，可在VS官网下载），其他版本的VS操作方式类似。打开VS2013，选择【菜单】-【新建】-【从现有代码创建项目】选择项目类型：Vis 阅读全文
posted @ 2016-10-10 16:28 知识天地 阅读(761) 评论(0) 推荐(0)