随笔分类 -  机器学习技法

上一页 1 2
机器学习技法的课程笔记
sparse autoencoder
摘要：1.autoencoderautoencoder的目标是通过学习函数，获得其隐藏层作为学习到的新特征。从L1到L2的过程成为解构，从L2到L3的过程称为重构。每一层的输出使用sigmoid方法，因为其输出介于0和1之间，所以需要对输入进行正规化使用差的平方作为损失函数 2.sparse spare的... 阅读全文
posted @ 2015-05-09 15:35 porco 阅读(347) 评论(0) 推荐(0)
cnn softmax regression bp求导
摘要：内容来自ufldl，代码参考自tornadomeet的cnnCost.m1.Forward PropagationconvolvedFeatures = cnnConvolve(filterDim, numFilters, images, Wc, bc); %对于第一个箭头activationsPo... 阅读全文
posted @ 2015-05-08 10:58 porco 阅读(775) 评论(0) 推荐(0)
使用kd-tree加速k-means
摘要：0.目录前置知识思路介绍详述1 确定h的中心点2 算法步骤java实现1.前置知识 本文内容基于《Accelerating exact k-means algorithms with geometric reasoning》 KDTree k-means 2.思路介绍 k-mean... 阅读全文
posted @ 2015-04-29 16:20 porco 阅读(4323) 评论(0) 推荐(0)
Gradient boosting
摘要：Gradient boostinggradient boosting 是一种boosting(组合弱学习器得到强学习器)算法中的一种，可以把学习算法(logistic regression,decision tree)代入其中。问题描述：给定一组数据{(x,y)}i,i=1,2...,N,使用函数F... 阅读全文
posted @ 2015-03-24 17:15 porco 阅读(529) 评论(0) 推荐(0)
[11-3] Gradient Boosting regression
摘要：main idea:用adaboost类似的方法，选出g，然后选出步长 Gredient Boosting for regression： h控制方向，eta控制步长，需要对h的大小进行限制 对(x,残差)解regression，得到h 对(g(x),残差)解regression，得到eta 阅读全文
posted @ 2015-02-02 22:46 porco 阅读(516) 评论(0) 推荐(0)
[11-2] adaboost理解
摘要：以二分类问题为例(｛-1，+1｝) adaboost步骤： 1.初始化u1=(1/N,1/N,…,1/N) 2.找到h，使最小化，记该h为g；计算作为该g的权重 3.更新ui: 4.重复2，3得到T个h，使用下列公式作为预测 理解： 1. adaboost 和 ut 数据n的权重在经过T轮更新后，正比于 每个g在该资料上做的带权重的投票 将看成是margin，则marg... 阅读全文
posted @ 2015-02-02 21:34 porco 阅读(328) 评论(0) 推荐(0)
[11-1] adaboost DTree
摘要：main idea：用与$u_t$成正比的概率sampling生成的数据集$\widetilde{D}$训练DTree；用整个数据集$D$计算weighted$\epsilon_n$，计算$g_t$的权重$\alpha_t =ln\blacklozenge t$，其中$\blacklozenge ... 阅读全文
posted @ 2015-02-02 19:51 porco 阅读(242) 评论(0) 推荐(0)
10-3[RF] feature selection
摘要：main idea：计算每一个feature的重要性，选取重要性前k的feature；衡量一个feature重要的方式：如果一个feature重要，则在这个feature上加上noise，会对最后performance影响很大。1.feature selection的含义及优缺点 去除冗余的特征（... 阅读全文
posted @ 2015-01-29 21:54 porco 阅读(377) 评论(0) 推荐(0)
10-2[RF] OOB validation
摘要：main idea: 在使用bootstrap生成gi的训练集时，会有一部分数据没有被选中，使用这一部分数据（OOB）进行validation。 1.数据没有被选中的概率 假设训练集大小为N，使用bootstrap生成N’（假设N’=N）条数据用于gi的训练（有放回抽样），则某条特定数据没有被选中的概率为： 当N很大（趋于无穷）时，大约有1/3的数据没有被选中... 阅读全文
posted @ 2015-01-29 20:42 porco 阅读(276) 评论(0) 推荐(0)

上一页 1 2