文章分类 - 机器学习与深度学习
摘要：前言： 本文主要是介绍下在一个实际的机器学习系统中，该怎样对数据进行预处理。个人感觉数据预处理部分在整个系统设计中的工作量占了至少1/3。首先数据的采集就非常的费时费力，因为这些数据需要考虑各种因素，然后有时还需对数据进行繁琐的标注。当这些都有了后，就相当于我们有了元素的raw数据，然后就可以进行下
阅读全文
摘要：前言 本节主要是练习下斯坦福DL网络教程UFLDL关于Sparse coding那一部分，具体的网页教程参考：Exercise:Sparse Coding。该实验的主要内容是从2w个自然图像的patches中分别采用sparse coding和拓扑的sparse coding方法进行学习，并观察学习
阅读全文
摘要：1.DeepID是什么？2.DeepID的强大的两个因素是什么?3.拿到图片数据后，本文做了那两件事情？ 首先明确一个概念什么是DeepID？ DeepID是人脸识别算法。 ########################### 目前人脸验证算法可以说是DeepID最强，本文使用theano对Dee
阅读全文
摘要：DeepID，目前最强人脸识别算法，已经三代。 如今，深度学习方兴未艾，大数据风起云涌，各个领域都在处于使用深度学习进行强突破的阶段，人脸识别也不例外，香港中文大学的团队使用卷积神经网络学习特征，将之用于人脸识别的子领域人脸验证方面，取得了不错的效果。虽然是今年7月份才出的成果，但连发三箭，皆中靶心
阅读全文
摘要：前言 本节主要是练习下斯坦福DL网络教程UFLDL关于Sparse coding那一部分，具体的网页教程参考：Exercise:Sparse Coding。该实验的主要内容是从2w个自然图像的patches中分别采用sparse coding和拓扑的sparse coding方法进行学习，并观察学习
阅读全文
摘要：前言： 关于Sparse coding目标函数的优化会涉及到矩阵求数问题，因为里面有好多矩阵范数的导数，加上自己对矩阵运算不熟悉，推导前面博文Deep learning：二十六(Sparse coding简单理解)中关于拓扑（非拓扑的要简单很多）Sparse coding代价函数对特征变量s导数的公
阅读全文
摘要：前言： 由于在sparse coding模型中求系统代价函数偏导数时需要用到矩阵的范数求导，这在其它模型中应该也很常见，比如说对一个矩阵内的元素值进行惩罚，使其值不能过大，则可以使用F范数（下面将介绍）约束，查阅了下矩阵范数求导的相关资料，本节就简单介绍下。 首先，网络上有大把的人把2范数和F=2时
阅读全文
摘要：Sparse coding： 本节将简单介绍下sparse coding(稀疏编码)，因为sparse coding也是deep learning中一个重要的分支，同样能够提取出数据集很好的特征。本文的内容是参考斯坦福deep learning教程：Sparse Coding，Sparse Codi
阅读全文
摘要：前言： 本文是用kmeans方法来分析单层网络的性能，主要是用在CIFAR-10图像识别数据库上。关于单层网络的性能可以参考前面的博文：Deep learning：二十(无监督特征学习中关于单层网络的分析)。当然了，本文依旧是参考论文An Analysis of Single-Layer Netwo
阅读全文
摘要：前言： 本次是练习2个隐含层的网络的训练方法，每个网络层都是用的sparse autoencoder思想，利用两个隐含层的网络来提取出输入数据的特征。本次实验验要完成的任务是对MINST进行手写数字识别，实验内容及步骤参考网页教程Exercise: Implement deep networks f
阅读全文
摘要：前言： 本次实验是练习convolution和pooling的使用，更深一层的理解怎样对大的图片采用convolution得到每个特征的输出结果，然后采用pooling方法对这些结果进行计算，使之具有平移不变等特性。实验参考的是斯坦福网页教程：Exercise:Convolution and Poo
阅读全文
摘要：前言： 本节是练习Linear decoder的应用，关于Linear decoder的相关知识介绍请参考：Deep learning：十七(Linear Decoders，Convolution和Pooling)，实验步骤参考Exercise: Implement deep networks fo
阅读全文
摘要：这又是Ng团队的一篇有趣的paper。Ng团队在上篇博客文章Deep learning：二十(无监督特征学习中关于单层网络的分析)中给出的结论是：网络中隐含节点的个数，convolution尺寸和移动步伐等参数比网络的层次比网络参数的学习算法本身还要重要，也就是说即使是使用单层的网络，只要隐含层的节
阅读全文
摘要：本文是读Ng团队的论文” An Analysis of Single-Layer Networks in Unsupervised Feature Learning”后的分析，主要是针对一个隐含层的网络结构进行分析的，分别对比了4种网络结构，k-means, sparse autoencoder,
阅读全文
摘要：这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep learning是从06年开始火得，得益于大牛Hinton的文章，不过这位大牛的
阅读全文
摘要：由于最近在看deep learning中的RBMs网络，而RBMs中本身就有各种公式不好理解，再来几个Gibbs采样，就更令人头疼了。所以还是觉得先看下Gibbs采样的理论知识。经过调查发现Gibbs是随机采样中的一种。所以本节也主要是简单层次的理解下随机采用知识。参考的知识是博客随机模拟的基本思想
阅读全文
摘要：本文主要是学习下Linear Decoder已经在大图片中经常采用的技术convolution和pooling，分别参考网页http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中对应的章节部分。 Linear Decoders:
阅读全文
摘要：前言： 本次实验主要是练习soft- taught learning的实现。参考的资料为网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_Learning。Soft-taught leaning是用的无监督
阅读全文
摘要：本节参考的是网页http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中关于Building Deep Networks for Classification一节的介绍。分下面2大部分内容： 1. 从self-taught到dee
阅读全文
摘要：前言： 这篇文章主要是用来练习softmax regression在多分类器中的应用，关于该部分的理论知识已经在前面的博文中Deep learning：十三(Softmax Regression)有所介绍。本次的实验内容是参考网页：http://deeplearning.stanford.edu/w
阅读全文
浙公网安备 33010602011771号