Deep Learning - 文章分类 - dupuleng

【转】激活函数概述

摘要：原文：http://www.cnblogs.com/neopenx/p/4453161.html#undefined起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传统Sigmoid系激活函数传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Si... 阅读全文

posted @ 2016-01-07 14:08 dupuleng 阅读(1852) 评论(0) 推荐(0) 编辑

深度学习读书笔记之RBM（限制波尔兹曼机）

摘要：比较好的一篇介绍RBM的博文，原文地址：http://blog.csdn.net/mytestmy/article/details/9150213?utm_source=tuicool&utm_medium=referralhttp://www.tuicool.com/articles/y2qQ7... 阅读全文

posted @ 2016-01-05 17:16 dupuleng 阅读(304) 评论(0) 推荐(0) 编辑

DeepLearning: Contractive Autoencoder

摘要：一、雅克比矩阵雅克比矩阵是一阶偏导，假设(x1,x2,....,xn)到(y1,y2,...,ym)的映射，相当于m个n元函数，它的Jacobian Matrix如下该矩阵表示x的微小波动对y的影响。雅克比矩阵与Hessian矩阵不同，hessian矩阵表示二阶偏导。可以用雅克比矩阵表示函数的一阶泰... 阅读全文

posted @ 2015-03-16 21:33 dupuleng 阅读(2304) 评论(3) 推荐(0) 编辑

DeepLearning: From PCA to Autoencoder

摘要：在图像处理中，样本的维度一般都很大，如果在原维度上进行处理，一方面对噪声比较敏感，一方面维度太高，加大训练难度。这时我们就想到了对数据进行降维，如何进行降维呢，肯定是要把那些最能代表原数据的维度保留下来。那如何确定某一维度是否能很好的代表原数据呢，我们使用Principal Component ... 阅读全文

posted @ 2015-03-16 16:15 dupuleng 阅读(1953) 评论(0) 推荐(1) 编辑

DeepLearning: dropout策略

摘要：本文参考 hogo在youtube上的视频：https://www.youtube.com/watch?v=UcKPdAM8cnI一、理论基础 dropout的提出是为了防止在训练过程中的过拟合现象，那就有人想了，能不能对每一个输入样本训练一个模型，然后在test阶段将每个模型取均值，这样通过所... 阅读全文

posted @ 2015-03-16 10:55 dupuleng 阅读(7348) 评论(0) 推荐(0) 编辑

DeepLearning: denoising autoencoder

摘要：本文参考hogo在youtube上的视频：https://www.youtube.com/watch?v=t2NQ_c5BFOc&index=49&list=PL6Xpj9I5qXYEcOhn7TqghAJ6NAPrNmUBH一、理论基础在训练autoencoder模型时，为了防止过拟合，我们经常采... 阅读全文

posted @ 2015-03-15 21:15 dupuleng 阅读(1441) 评论(0) 推荐(0) 编辑

DeepLearning 工具包DeepLearnToolbox 的使用

摘要：DeepLearn Toolbox是一个非常有用的matlab deep learning工具包，下载地址：https://github.com/dupuleng/DeepLearnToolbox-master要使用它首先要将该工具包添加到matlab的搜索路径中，1、将包复制到matlab 的to... 阅读全文

posted @ 2015-03-15 20:05 dupuleng 阅读(13346) 评论(0) 推荐(0) 编辑

一个特别的博客

摘要：今天发现了一个很有意思的博客，作者从一个不同的角度来讲神经网络，值得一看http://colah.github.io/ 阅读全文

posted @ 2015-03-08 21:31 dupuleng 阅读(168) 评论(1) 推荐(0) 编辑

Regularized Logistic Regression

摘要：前言：上一篇博文介绍到当模型参数过多时，线性回归模型会出现过抑合现象，同样逻辑回归模型也会出现该情况，因此也需要通过正则项来解决该问题。本节内容参考：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLe... 阅读全文

posted @ 2014-12-20 21:19 dupuleng 阅读(192) 评论(0) 推荐(0) 编辑

Regularized Linear Regression

摘要：前言：在机器学习中，如果模型参数过多，并且训练样本较小的情况下，经常会出现过抑合。为了解决该问题，通过在目标函数中加入正则项，通常使L2范式。本文主要介绍线性回归中正则项的运用，参考http://openclassroom.stanford.edu/MainFolder/DocumentPage.p... 阅读全文

posted @ 2014-12-20 20:59 dupuleng 阅读(390) 评论(0) 推荐(0) 编辑

Exercise : Logistic Regression 2

摘要：前言：上一篇博文 Logistic Regression通LBFGS方法求解，本篇通过牛顿法求解，通过学习http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/e... 阅读全文

posted @ 2014-12-19 18:15 dupuleng 阅读(252) 评论(0) 推荐(0) 编辑

Logistic Regression

摘要：参考网页：http://ufldl.stanford.edu/tutorial/supervised/LogisticRegression/在线性回归中，我们找到一个函数，对于输入x预测值为连续实值，但有时候我们想得到一个离散值，如在二分类问题中，我们想要给一个输入一个类别标签，在logistic ... 阅读全文

posted @ 2014-12-18 13:20 dupuleng 阅读(590) 评论(0) 推荐(0) 编辑

Linear Regression

摘要：参考网页：http://ufldl.stanford.edu/tutorial/supervised/LinearRegression/线性回归的目标是通过一个输入预测目标值，比如通过房子大小，房间数，离市区的远近等特征预测房子的价格。那么我们就需要找到一个函数，对于每个训练样本预测，如果能够通过训... 阅读全文

posted @ 2014-12-18 12:54 dupuleng 阅读(685) 评论(0) 推荐(0) 编辑

Softmax Regression Review

摘要：前言：今天重新看了andrel ng ufldl上关于softmax regression的另一篇教程，主要内容基本和上一篇基本一致。但在编程实现过程中有一些差异，可能两部分内容代码实现是由不同的人实现的。原来只是想巩固一下的，不过通过不同的代码实现也发现了一些问题。理论基础：为了描述方便，下面将原... 阅读全文

posted @ 2014-12-18 11:21 dupuleng 阅读(566) 评论(0) 推荐(0) 编辑

Exercise : RICA

摘要：本节内容参考ng网页教程http://ufldl.stanford.edu/tutorial/unsupervised/ExerciseRICA/实验内容：使用MNIST数据集进行特征学习，图片大小9*9，特征数目50 ；由于电脑内存限制，仅使用2000张样本。优化方法：LBFGS方法，由于没有正交... 阅读全文

posted @ 2014-12-15 23:34 dupuleng 阅读(611) 评论(0) 推荐(0) 编辑

RICA : Reconstruction Independent Component Analysis

摘要：前几天学习了ICA，上周五师兄讲论文中提到RICA，才发现原来ICA还有一个变种，赶紧过来脑补下。ICA的具体内容见博主另一博文ICA: independent Component Analysis.ICA主要思想是学习一组不完备正交基重构样本。ICA有三个不足之处：1、不能学习过完备基（over-... 阅读全文

posted @ 2014-12-15 21:33 dupuleng 阅读(861) 评论(0) 推荐(0) 编辑

深度学习中的优化算法

摘要：在深度学习过程中经常会听到**优化算法云云，优化算法即通过迭代的方法计算目标函数的最优解，为什么要用到优化算法呢？1、如果是凸优化问题，如果数据量特别大，那么计算梯度非常耗时，因此会选择使用迭代的方法求解，迭代每一步计算量小，且比较容易实现2、对于非凸问题，只能通过迭代的方法求解，每次迭代目标函数... 阅读全文

posted @ 2014-12-15 16:58 dupuleng 阅读(4514) 评论(0) 推荐(0) 编辑

CG ： Conjugate Gradient Method

摘要：前几天学习了ICA模型，发现不同的优化方法对训练结果影响很大，就想学习下比较流行的优化方法：SGD , BFGS , CG，CG以前完全没有接触过，所以就从CG开始，各种数学推导，搞得我头都大了，从上周中下看到这周初，终于可以理出个思路来了。废话不多说了，直接进入主题。共轭方向：若有两个向量X,Y... 阅读全文

posted @ 2014-12-15 16:06 dupuleng 阅读(1699) 评论(0) 推荐(0) 编辑

Exercise : Independent Componet Analysis

摘要：参考网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Independent_Component_Analysis实验内容：模型：ICA模型数据集：STL_10，样本RGB三通道的8*8patch块，样本维度8*8*3 ... 阅读全文

posted @ 2014-12-09 18:09 dupuleng 阅读(436) 评论(0) 推荐(0) 编辑

ICA : independent Component Analysis

摘要：参考网页：http://deeplearning.stanford.edu/wiki/index.php/Independent_Component_Analysis在sparse coding 中，我们寻求一组过完备基（over-complete basis ），显然这些基之间不线性相关，这种模型... 阅读全文

posted @ 2014-12-09 17:11 dupuleng 阅读(528) 评论(0) 推荐(0) 编辑

dupuleng

文章分类 - Deep Learning

公告