随笔分类 -  机器学习

半监督学习(semi-supervised learning)
摘要:P(x)P(x,y)}⇒P(y|x)自 P(x) 生成的无标签样本;自 P(x,y) 生成的标记样本; 阅读全文
posted @ 2017-01-02 22:00 未雨愁眸 阅读(285) 评论(0) 推荐(0)
半监督学习(semi-supervised learning)
摘要:P(x)P(x,y)}⇒P(y|x)自 P(x) 生成的无标签样本;自 P(x,y) 生成的标记样本; 阅读全文
posted @ 2017-01-02 22:00 未雨愁眸 阅读(355) 评论(0) 推荐(0)
参数的范数正则/惩罚(parameter norm penalties)
摘要:1. L2 范数J~(w;X,y)=J(w;X,y)+α2wTwJ 表示的是原始的目标函数,J~ 则是二范数约束后的新的目标函数。则根据梯度下降算法有:∇wJ~=∇wJ+αww←w−ϵ∇wJ~=w−ϵ(∇J+αw)w←(1−αϵ)w−ϵ∇J 阅读全文
posted @ 2017-01-02 21:45 未雨愁眸 阅读(628) 评论(0) 推荐(0)
机器学习: Viola-Jones 人脸检测算法解析(二)
摘要:上一篇博客里,我们介绍了VJ人脸检测算法的特征,就是基于积分图像的矩形特征,这些矩形特征也被称为Haar like features, 通常来说,一张图像会生成一个远远高于图像维度的特征集,比如一个 24×24 的图像,会生成162336个矩形特征。在实时的人脸检测应... 阅读全文
posted @ 2016-12-28 14:56 未雨愁眸 阅读(1015) 评论(0) 推荐(0)
机器学习: Viola-Jones 人脸检测算法解析(一)
摘要:在计算机视觉领域中,人脸检测或者物体检测一直是一个非常受关注的领域,而在人脸检测中,Viola-Jones人脸检测算法可以说是非常经典的一个算法,所有从事人脸检测研究的人,都会熟悉了解这个算法,Viola-Jones算法在2001年的CVPR上提出,因为其高效而快速的... 阅读全文
posted @ 2016-12-25 10:27 未雨愁眸 阅读(2336) 评论(0) 推荐(0)
计算学习理论、统计学习基础理论
摘要:computational learning theory:计算学习理论;支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法。统计学习的基础就是统计推理(statistical inference),统计推理简单来说,就是估计参数... 阅读全文
posted @ 2016-12-21 23:06 未雨愁眸 阅读(319) 评论(0) 推荐(0)
计算学习理论、统计学习基础理论
摘要:computational learning theory:计算学习理论;支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法。统计学习的基础就是统计推理(statistical inference),统计推理简单来说,就是估计参数... 阅读全文
posted @ 2016-12-21 23:06 未雨愁眸 阅读(169) 评论(0) 推荐(0)
随机森林与 GBDT
摘要:随机森林(random forest),GBDT(Gradient Boosting Decision Tree),前者中的森林,与后者中的 Boosting 都在说明,两种模型其实都是一种集成学习(ensemble learning)的学习方式。1. 随机森林随机森... 阅读全文
posted @ 2016-12-21 22:54 未雨愁眸 阅读(211) 评论(0) 推荐(0)
随机森林与 GBDT
摘要:随机森林(random forest),GBDT(Gradient Boosting Decision Tree),前者中的森林,与后者中的 Boosting 都在说明,两种模型其实都是一种集成学习(ensemble learning)的学习方式。1. 随机森林随机森... 阅读全文
posted @ 2016-12-21 22:54 未雨愁眸 阅读(124) 评论(0) 推荐(0)
绝对和相对误差(absolute & relative error)
摘要:1. 标量真实值为 x,测量值为 x0,绝对误差(absolute error):Δx=x0−x(有单位);相对误差(relative error):δx=Δxx=x0−xx=x0x−1(是一个比值)2. 矢量间的误差def rel_err(x, y): ret... 阅读全文
posted @ 2016-12-20 17:42 未雨愁眸 阅读(1534) 评论(0) 推荐(0)
绝对和相对误差(absolute & relative error)
摘要:1. 标量真实值为 x,测量值为 x0,绝对误差(absolute error):Δx=x0−x(有单位);相对误差(relative error):δx=Δxx=x0−xx=x0x−1(是一个比值)2. 矢量间的误差def rel_err(x, y): ret... 阅读全文
posted @ 2016-12-20 17:42 未雨愁眸 阅读(2324) 评论(0) 推荐(0)
参数方法(parameter)与非参数方法(nonparameter)
摘要:参数方法表示参数固定,不随数据点的变化而变化; 非参数方法并不意味着没有参数,而是说,参数的数目随数据点而变化,1. 参数方法举例logistic regression:p(y=1|x,α)=11+exp(−xTα),显然参数,α 的维数会随着数据集属性列个数的变化而... 阅读全文
posted @ 2016-12-11 19:08 未雨愁眸 阅读(313) 评论(0) 推荐(0)
参数方法(parameter)与非参数方法(nonparameter)
摘要:参数方法表示参数固定,不随数据点的变化而变化; 非参数方法并不意味着没有参数,而是说,参数的数目随数据点而变化,1. 参数方法举例logistic regression:p(y=1|x,α)=11+exp(−xTα),显然参数,α 的维数会随着数据集属性列个数的变化而... 阅读全文
posted @ 2016-12-11 19:08 未雨愁眸 阅读(3199) 评论(0) 推荐(0)
简单推导 PCA
摘要:考虑二维数据降低到一维的例子,如下图所示: 最小化投影方差(maximize projected variance):1N∑n=1N(uuT1xn−uuT1x¯)=uuT1Suu1,s.t.uuT1uu1=1则根据拉格朗日乘子法,有:uuT1Suu1+λ(1−uuT... 阅读全文
posted @ 2016-12-10 21:49 未雨愁眸 阅读(208) 评论(0) 推荐(0)
简单推导 PCA
摘要:考虑二维数据降低到一维的例子,如下图所示: 最小化投影方差(maximize projected variance):1N∑n=1N(uuT1xn−uuT1x¯)=uuT1Suu1,s.t.uuT1uu1=1则根据拉格朗日乘子法,有:uuT1Suu1+λ(1−uuT... 阅读全文
posted @ 2016-12-10 21:49 未雨愁眸 阅读(197) 评论(0) 推荐(0)
隐变量模型(latent variable model)
摘要:连续隐变量模型(continuous latent model)也常常被称为降维(dimensionality reduction) PCAFactor AnalysisICA连续的情形比离散的情况更有效在信息表示上; 阅读全文
posted @ 2016-12-10 21:05 未雨愁眸 阅读(3720) 评论(0) 推荐(0)
隐变量模型(latent variable model)
摘要:连续隐变量模型(continuous latent model)也常常被称为降维(dimensionality reduction) PCAFactor AnalysisICA连续的情形比离散的情况更有效在信息表示上; 阅读全文
posted @ 2016-12-10 21:05 未雨愁眸 阅读(1524) 评论(0) 推荐(0)
机器学习: TensorFlow with MLP 笑脸识别
摘要:Tensor Flow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。这是谷歌开源的一个强大的做深度学习的软件... 阅读全文
posted @ 2016-12-10 11:50 未雨愁眸 阅读(1426) 评论(0) 推荐(0)
利用Matlab自带的深度学习工具进行车辆区域检测与车型识别【福利-内附源码与数据库】(二)
摘要:前言这次的博客主要是关于如何进行车辆区域检测的,因为前段时间要考试了,沉迷学习(逃 没有更新。把代码上传到了Github,有兴趣的同学可以下下来玩一玩。这一次更新了一个GUI界面,当然,是我们Matlab课的小伙伴一起做的~如何使用R-CNN?在Matlab中,其... 阅读全文
posted @ 2016-12-07 16:31 未雨愁眸 阅读(1485) 评论(0) 推荐(0)