上一页 1 2 3 4 5 6 7 8 9 ··· 16 下一页
摘要: 介绍Expression template,本文是一个学习笔记,主要参考 mashadow项目关于表达式模板的教程 https://github.com/dmlc/mshadow/tree/master/guide/exp-template 类似matlab形式的向量操作如 VEC0 = VEC1 + VEC2 + VEC3存在效率问题 class Vec { public: Vec(... 阅读全文
posted @ 2015-05-12 15:40 阁子 阅读(675) 评论(0) 推荐(0) 编辑
摘要: c++11 中类型初始更加方便 比如 vector vec = {1,2,3}; vector vec{1,2,3}; map m = {{ "help", 3 }, {"good", 4}}; 另外的一些常用示例,包括自己定义的类如何接受list初始化 //struct class 在c++11中都支持更简单的初始化 可以不用手写初始化函数 class Node { public: ... 阅读全文
posted @ 2015-05-12 11:45 阁子 阅读(1128) 评论(0) 推荐(0) 编辑
摘要: 一开始我们设定F(x)也就是每个样本的预测值是0(也可以做一定的随机化) Scores = { 0, 0, 0, 0, 0, 0, 0, 0} 那么我们先计算当前情况下的梯度值 GetGradientInOneQuery = [this](int query, const Fvec& scores) { //和实际代码稍有出入 简化版本 _grad... 阅读全文
posted @ 2015-03-25 18:22 阁子 阅读(5722) 评论(0) 推荐(1) 编辑
摘要: 考虑一个简单的例子来演示GBDT算法原理 下面是一个二分类问题,1表示可以考虑的相亲对象,0表示不考虑的相亲对象 特征维度有3个维度,分别对象 身高,金钱,颜值 cat dating.txt #id,label,hight,money,face _0,1,20,80,100 _1,1,60,90,25 _2,1,3,95,95 _3,1,66,95,60 _4,0,30,95... 阅读全文
posted @ 2015-03-25 15:59 阁子 阅读(11136) 评论(2) 推荐(0) 编辑
摘要: 这里以二元分类为例子,给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算,注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算... 阅读全文
posted @ 2015-03-09 21:43 阁子 阅读(34820) 评论(0) 推荐(1) 编辑
摘要: NG的课件1也讲到了牛顿法,它对应的update rule是 H对应Hessian矩阵 http://en.wikipedia.org/wiki/Hessian_matrix http://aria42.com/blog/2014/12/understanding-lbfgs/ 给出了关于牛顿法更详细的解释... 阅读全文
posted @ 2014-12-09 08:00 阁子 阅读(730) 评论(0) 推荐(0) 编辑
摘要: NG的课件1,引出常用的优化方法梯度下降法(gradient descent) 对于 ordinary least squares regression, cost function为 求最小值,意味着求导数为0的位置 考虑只有一个样本 这叫做LMS update rule (Least Mean Squares) 对应所有样本的训练集合 ... 阅读全文
posted @ 2014-12-09 07:43 阁子 阅读(667) 评论(0) 推荐(0) 编辑
摘要: Bloom filter 思路 用多个不同hash 来记录,比如遇到一个 love 有4个hash function 映射到4个bit位置,如果所有位置都是1 那么认为之前已经遇到love这个词(有一定错误概率),如果有任何一个位置是0,那么表明love这个词之前没有遇到(100%这样) Count Min Sketch 思路类似。。 考虑一个近似的(允许一定错误)的类似 has... 阅读全文
posted @ 2014-12-04 16:24 阁子 阅读(757) 评论(0) 推荐(0) 编辑
摘要: 考虑典型的文本分类,一个经典的方法就是 分词,扫描所有特征,建立特征词典 重新扫描所有特征,利用特征词典将特征映射到特征空间编号 得到特征向量 学习参数 w 存储学习参数 w , 存储特征映射词典 预测截断装载学习参数w,装载特征映射词典 扫描数据,将所有特征利用特征映射词典映射到特征空间编号 得到特征向量 利用用学习参数w 对得到的特征向量 进行 点积 做出预测 Featur... 阅读全文
posted @ 2014-12-04 16:09 阁子 阅读(1257) 评论(0) 推荐(0) 编辑
摘要: http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term)... 阅读全文
posted @ 2014-11-08 18:30 阁子 阅读(66752) 评论(0) 推荐(2) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 16 下一页