随笔分类 - 机器学习
机器学习：最大似然估计与最大后验概率估计
摘要：在机器学习领域，概率估计是经常用到的一种模型，而概率估计中，我们经常会看到两种估计模型，一种是最大似然估计，即 Maximum likelihood， 另外一种就是最大后验概率估计，即 Maximum posterior ， 两种模型可以由贝叶斯定理演化而来。在介绍这...
阅读全文
机器学习: Canonical Correlation Analysis 典型相关分析
摘要：Canonical Correlation Analysis(CCA)典型相关分析也是一种常用的降维算法。我们知道，PCA(Principal Component Analysis) 主分量分析将数据从高维映射到低维空间同时，保证了数据的分散性尽可能地大, 也就是数据...
阅读全文
机器学习： Linear Discriminant Analysis 线性判别分析
摘要：Linear discriminant analysis (LDA) 线性判别分析也是机器学习中常用的一种降维算法，与 PCA 相比， LDA 是属于supervised 的一种降维算法。PCA考虑的是整个数据集在高维空间的分散性，PCA降维之后依然要让数据在低维空间...
阅读全文
机器学习： 特征脸算法 EigenFaces
摘要：人脸识别是机器学习和机器视觉领域非常重要的一个研究方向，而特征脸算法是人脸识别里非常经典的一个算法，EigenFaces 是基于PCA (principal component analysis) 即主分量分析的。一张尺寸为 w×h 的人脸图像 Ii可以看成是一个 D...
阅读全文
机器学习：Principal components analysis （主分量分析）
摘要：Principal components analysis 这一讲，我们简单介绍Principal Components Analysis(PCA)，这个方法可以用来确定特征空间的子空间，用一种更加紧凑的方式（更少的维数）来表示原来的特征空间。假设我们有一组训练集{...
阅读全文
机器学习 ： 高斯混合模型及EM算法
摘要：Mixtures of Gaussian 这一讲，我们讨论利用EM (Expectation-Maximization)做概率密度的估计。假设我们有一组训练样本x(1),x(2),...x(m),因为是unsupervised的学习问题，所以我们没有任何y的信息。我们...
阅读全文
机器学习: 贝叶斯决策 2
摘要：Minimizing the Classification Error Probability我们接下来将要证明，Bayes分类器是使得错分概率最小化的一个最佳选择，假设R1是w1这一类的样本特征所在的区域， R2是w2这一类的样本特征所在的区域,那么,如果一个样本特...
阅读全文
机器学习: 贝叶斯决策 1
摘要：Bayes rules在介绍Bayes决策论之前，我们先介绍有关概率的两个基本准则：求和准则与相乘准则。给定两个随机变量X,Y,假设X可以为任意值xi,其中i=1,2,...M, 同样的,Y可以取的值为yj,其中j=1,2,...L,假设我们对这两个随机变量的所有可能...
阅读全文
机器学习 scikit-learn 图谱
摘要：scikit-learn 是机器学习领域非常热门的一个开源库，基于Python 语言写成。可以免费使用。 网址： http://scikit-learn.org/stable/index.html上面有很多的教程，编程实例。而且还做了很好的总结，下面这张图基本概括了传...
阅读全文
机器视觉 Local Binary Pattern (LBP)
摘要：Local binary pattern (LBP)，在机器视觉领域，是非常重要的一种特征。LBP可以有效地处理光照变化，在纹理分析，纹理识别方面被广泛应用。LBP 的算法非常简单，简单来说，就是对图像中的某一像素点的灰度值与其邻域的像素点的灰度值做比较，如下图所示：...
阅读全文
机器学习 F1-Score, recall, precision
摘要：在机器学习，模式识别中，我们做分类的时候，会用到一些指标来评判算法的优劣，最常用的就是识别率，简单来说，就是 Acc=Npre/Ntotal 这里的 Npre表示预测对的样本数，Ntotal表示测试集总的样本数。识别率有的时候过于简单， 不能全面反应算法的性能，除了...
阅读全文
Python: Neural Networks
摘要：这是用Python实现的Neural Networks, 基于Python 2.7.9, numpy, matplotlib。 代码来源于斯坦福大学的课程： http://cs231n.github.io/neural-networks-case-study/ 基本...
阅读全文
Python: Soft_max 分类器
摘要：我们可以建立如下的loss function： Li=−log(pyi)=−log⎛⎝efyi∑jefj⎞⎠L=1N∑iLi+12λ∑k∑lW2k,l下面我们推导loss对W,b的偏导数，我们可以先计算loss对f的偏导数，利用链式法则，我们可以得到：∂Li∂fk=∂...
阅读全文
机器学习 Regularization and model selection
摘要：Regularization and model selection假设我们为了一个学习问题尝试从几个模型中选择一个合适的模型。例如，我们可能用一个多项式回归模型hθ(x)=g(θ0+θ1x+θ2x2+…θkxk)，我们需要设定一个合适的阶数k，怎样才能决定这个阶数k...
阅读全文
Convolutional Neural Networks for Visual Recognition 8
摘要：Convolutional Neural Networks (CNNs / ConvNets)前面做了如此漫长的铺垫，现在终于来到了课程的重点。Convolutional Neural Networks， 简称CNN，与之前介绍的一般的神经网络类似，CNN同样是由可以...
阅读全文
Convolutional Neural Networks for Visual Recognition 7
摘要：Two Simple Examplessoftmax classifier后，我们介绍两个简单的例子，一个是线性分类器，一个是神经网络。由于网上的讲义给出的都是代码，我们这里用公式来进行推导。首先看softmax classifier 的例子。给定输入X∈RN×D，权...
阅读全文
Convolutional Neural Networks for Visual Recognition 6
摘要：-###Learning前面，我们介绍了神经网络的构成，数据的预处理，权值的初始化等等。这一讲，我们将要介绍神经网络参数学习的过程。Gradient Checks梯度的运算，在理论上是简单的，但是在实际的应用中，却非常容易出错，梯度的运算常见的有如下两种形式：形式一：...
阅读全文
Convolutional Neural Networks for Visual Recognition 5
摘要：Setting up the data and the model前面我们介绍了一个神经元的模型，通过一个激励函数将高维的输入域权值的点积转化为一个单一的输出，而神经网络就是将神经元排列到每一层，形成一个网络结构，这种结构与我们之前介绍的线性模型不太一样，因此scor...
阅读全文
Convolutional Neural Networks for Visual Recognition 4
摘要：Modeling one neuron下面我们开始介绍神经网络，我们先从最简单的一个神经元的情况开始，一个简单的神经元包括输入，激励函数以及输出。如下图所示：一个神经元类似一个线性分类器，如果激励函数是sigmoid 函数(σ(x)=1/(1+e−x))，那么σ(∑i...
阅读全文
Convolutional Neural Networks for Visual Recognition 3
摘要：Gradient Computing前面我们介绍过分类器模型一般包含两大部分，一部分是score function，将输入的原始数据映射到每一类的score，另外一个重要组成部分是loss function，计算预测值 与实际值之间的误差，具体地，给定一个线性分类函数...
阅读全文
浙公网安备 33010602011771号