个人博客：https://luxialan.com

随笔分类 -  深度学习

深度学习基础（七）Self-Taught Learning to Deep Networks 分类： 深度学习 2015-03-20 21:27 36人阅读 评论(0) 收藏
摘要：有了自学算法去提取特征，我们可以进一步扩展模型这个模型是在特征模型的基础上多了一步分类器，这个分类器的引入使得我们可以进一步调整参数。微调（fine-tune）指的的是通过输入有标记的再通过牛顿下降法来调整参数从而减小训练误差什么时候可以使用微调呢？当然是有大量的有标记样本啦。上面这个模型试简单的三... 阅读全文
posted @ 2015-03-20 21:27 luxialan 阅读(212) 评论(0) 推荐(0)
深度学习基础（六）Self-Taught Learning 分类： 深度学习 2015-03-20 14:55 24人阅读 评论(0) 收藏
摘要：要想提高学习类的算法，最简单的方法就是使用更多的数据，但是有标签的数据往往是很难获取的，因此对于无标签的数据的学习，我们有自学习算法和无监督特学习算法。有两类常用的特征学习算法，自学习算法的前提假设是无标签的数据和有标签的数据不一定满足一样的分布，而无监督学习算法的前提假设是两者的分布是一样的。我们... 阅读全文
posted @ 2015-03-20 14:55 luxialan 阅读(198) 评论(0) 推荐(0)
深度学习基础（五）Softmax Regression 分类： 深度学习 2015-02-28 10:28 42人阅读 评论(0) 收藏
摘要：Softmax RegressionSoftmax Regression是 Logistic Regression的推广假设我们有训练集Logistic Regression:对于每个特征，标签Softmax Regression:对于每个特征，标签Softmax Regression有一个很特别地... 阅读全文
posted @ 2015-02-28 10:28 luxialan 阅读(188) 评论(0) 推荐(0)
深度学习基础（四）PCA和Whitening 分类： 深度学习 2015-01-25 20:07 115人阅读 评论(0) 收藏
摘要：PCA(principal component analysis )即主成分分析，是一种常用的降维方法。假设我们用降维操作处理一个二维的数据集（二维压缩成一维）：在这个数据集上，我们可以计算出两个方向，我们称为主方向u1和次方向u2，其中u1的值是数据集协方差矩阵的最大特征值对应的特征向量，u2是次... 阅读全文
posted @ 2015-01-25 20:07 luxialan 阅读(208) 评论(0) 推荐(0)
深度学习基础（三）（稀疏）自编码器 分类： 深度学习 2015-01-20 15:19 96人阅读 评论(0) 收藏
摘要：我们知道在神经网络上通过前向传导和后向传导算法，可以再给定训练集的基础上训练参数，这是神经网络有监督学习的一种应用。但是有时候数据集并不是都有标签的，我们希望给一堆数据之后，通过神经网络，在没有既定目标函数的情况下，在一定约束下神经网络能够自行独立地学习到一些参数。这种没有特定学习目标的学习方法，就... 阅读全文
posted @ 2015-01-20 15:19 luxialan 阅读(317) 评论(0) 推荐(0)
深度学习基础（二）Backpropagation Algorithm 分类： 深度学习 2015-01-19 21:55 104人阅读 评论(0) 收藏
摘要：我们知道神经网络有forward propagation，很自然会想那有没有Backpropagation，结果还真有。forward progation相当于神经网络额一次初始化，但是这个神经网络还缺少训练，而Backpropagation Algorithm就是用来训练神经网络的。假设现在又m组... 阅读全文
posted @ 2015-01-19 21:55 luxialan 阅读(152) 评论(0) 推荐(0)
深度学习基础（一）神经网络 分类： 深度学习 2015-01-19 21:29 84人阅读 评论(0) 收藏
摘要：由生物学基础我们知道，神经网络是有无数个神经元和连接这些神经元的突触构成的，某个神经元接受一系列的电信号刺激，当这个刺激达到一定的阀值后，这个神经元就被激活，通过突触将某些信息传递给下一个神经元。每个神经元可以看成是一个激活函数(activation function)，输入值为强度大小不同的电刺激... 阅读全文
posted @ 2015-01-19 21:29 luxialan 阅读(153) 评论(0) 推荐(0)