随笔分类 - 机器学习
半监督学习(semi-supervised learning)
摘要:P(x)P(x,y)}⇒P(y|x)自 P(x) 生成的无标签样本;自 P(x,y) 生成的标记样本;
阅读全文
半监督学习(semi-supervised learning)
摘要:P(x)P(x,y)}⇒P(y|x)自 P(x) 生成的无标签样本;自 P(x,y) 生成的标记样本;
阅读全文
参数的范数正则/惩罚(parameter norm penalties)
摘要:1. L2 范数J~(w;X,y)=J(w;X,y)+α2wTwJ 表示的是原始的目标函数,J~ 则是二范数约束后的新的目标函数。则根据梯度下降算法有:∇wJ~=∇wJ+αww←w−ϵ∇wJ~=w−ϵ(∇J+αw)w←(1−αϵ)w−ϵ∇J
阅读全文
机器学习: Viola-Jones 人脸检测算法解析(二)
摘要:上一篇博客里,我们介绍了VJ人脸检测算法的特征,就是基于积分图像的矩形特征,这些矩形特征也被称为Haar like features, 通常来说,一张图像会生成一个远远高于图像维度的特征集,比如一个 24×24 的图像,会生成162336个矩形特征。在实时的人脸检测应...
阅读全文
机器学习: Viola-Jones 人脸检测算法解析(一)
摘要:在计算机视觉领域中,人脸检测或者物体检测一直是一个非常受关注的领域,而在人脸检测中,Viola-Jones人脸检测算法可以说是非常经典的一个算法,所有从事人脸检测研究的人,都会熟悉了解这个算法,Viola-Jones算法在2001年的CVPR上提出,因为其高效而快速的...
阅读全文
计算学习理论、统计学习基础理论
摘要:computational learning theory:计算学习理论;支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法。统计学习的基础就是统计推理(statistical inference),统计推理简单来说,就是估计参数...
阅读全文
计算学习理论、统计学习基础理论
摘要:computational learning theory:计算学习理论;支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法。统计学习的基础就是统计推理(statistical inference),统计推理简单来说,就是估计参数...
阅读全文
随机森林与 GBDT
摘要:随机森林(random forest),GBDT(Gradient Boosting Decision Tree),前者中的森林,与后者中的 Boosting 都在说明,两种模型其实都是一种集成学习(ensemble learning)的学习方式。1. 随机森林随机森...
阅读全文
随机森林与 GBDT
摘要:随机森林(random forest),GBDT(Gradient Boosting Decision Tree),前者中的森林,与后者中的 Boosting 都在说明,两种模型其实都是一种集成学习(ensemble learning)的学习方式。1. 随机森林随机森...
阅读全文
绝对和相对误差(absolute & relative error)
摘要:1. 标量真实值为 x,测量值为 x0,绝对误差(absolute error):Δx=x0−x(有单位);相对误差(relative error):δx=Δxx=x0−xx=x0x−1(是一个比值)2. 矢量间的误差def rel_err(x, y): ret...
阅读全文
绝对和相对误差(absolute & relative error)
摘要:1. 标量真实值为 x,测量值为 x0,绝对误差(absolute error):Δx=x0−x(有单位);相对误差(relative error):δx=Δxx=x0−xx=x0x−1(是一个比值)2. 矢量间的误差def rel_err(x, y): ret...
阅读全文
参数方法(parameter)与非参数方法(nonparameter)
摘要:参数方法表示参数固定,不随数据点的变化而变化; 非参数方法并不意味着没有参数,而是说,参数的数目随数据点而变化,1. 参数方法举例logistic regression:p(y=1|x,α)=11+exp(−xTα),显然参数,α 的维数会随着数据集属性列个数的变化而...
阅读全文
参数方法(parameter)与非参数方法(nonparameter)
摘要:参数方法表示参数固定,不随数据点的变化而变化; 非参数方法并不意味着没有参数,而是说,参数的数目随数据点而变化,1. 参数方法举例logistic regression:p(y=1|x,α)=11+exp(−xTα),显然参数,α 的维数会随着数据集属性列个数的变化而...
阅读全文
简单推导 PCA
摘要:考虑二维数据降低到一维的例子,如下图所示: 最小化投影方差(maximize projected variance):1N∑n=1N(uuT1xn−uuT1x¯)=uuT1Suu1,s.t.uuT1uu1=1则根据拉格朗日乘子法,有:uuT1Suu1+λ(1−uuT...
阅读全文
简单推导 PCA
摘要:考虑二维数据降低到一维的例子,如下图所示: 最小化投影方差(maximize projected variance):1N∑n=1N(uuT1xn−uuT1x¯)=uuT1Suu1,s.t.uuT1uu1=1则根据拉格朗日乘子法,有:uuT1Suu1+λ(1−uuT...
阅读全文
隐变量模型(latent variable model)
摘要:连续隐变量模型(continuous latent model)也常常被称为降维(dimensionality reduction) PCAFactor AnalysisICA连续的情形比离散的情况更有效在信息表示上;
阅读全文
隐变量模型(latent variable model)
摘要:连续隐变量模型(continuous latent model)也常常被称为降维(dimensionality reduction) PCAFactor AnalysisICA连续的情形比离散的情况更有效在信息表示上;
阅读全文
机器学习: TensorFlow with MLP 笑脸识别
摘要:Tensor Flow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。这是谷歌开源的一个强大的做深度学习的软件...
阅读全文
利用Matlab自带的深度学习工具进行车辆区域检测与车型识别【福利-内附源码与数据库】(二)
摘要:前言这次的博客主要是关于如何进行车辆区域检测的,因为前段时间要考试了,沉迷学习(逃 没有更新。把代码上传到了Github,有兴趣的同学可以下下来玩一玩。这一次更新了一个GUI界面,当然,是我们Matlab课的小伙伴一起做的~如何使用R-CNN?在Matlab中,其...
阅读全文