神经网络 - 随笔分类 - Alan_Fire

CS229 6.18 CNN 的反向传导算法

摘要：本文主要内容是 CNN 的 BP 算法，看此文章前请保证对CNN有初步认识。网络表示 CNN相对于传统的全连接DNN来说增加了卷积层与池化层，典型的卷积神经网络中（比如LeNet-5 ），开始几层都是卷积和池化的交替，然后在靠近输出的地方做成全连接网络，这时候已经将所有两维2D的特征maps转化为阅读全文

posted @ 2018-11-27 00:47 Alan_Fire 阅读(247) 评论(0) 推荐(0)

CS229 6.17 Neurons Networks convolutional neural network（cnn）

摘要：之前所讲的图像处理都是小 patchs ，比如28*28或者36*36之类，考虑如下情形，对于一副1000*1000的图像，即106，当隐层也有106节点时，那么W(1)的数量将达到1012级别，为了减少参数规模，加快训练速度，CNN应运而生。CNN就像辟邪剑谱一样，正常人练得很挫，一旦自宫后，就变阅读全文

posted @ 2018-11-27 00:45 Alan_Fire 阅读(176) 评论(0) 推荐(0)

CS229 6.16 Neurons Networks linear decoders and its implements

摘要：Sparse AutoEncoder是一个三层结构的网络，分别为输入输出与隐层，前边自编码器的描述可知，神经网络中的神经元都采用相同的激励函数，Linear Decoders 修改了自编码器的定义，对输出层与隐层采用了不用的激励函数，所以 Linear Decoder 得到的模型更容易应用，而且对模阅读全文

posted @ 2018-11-27 00:44 Alan_Fire 阅读(199) 评论(0) 推荐(0)

CS229 6.5 Neurons Networks Implements of Sparse Autoencoder

摘要：sparse autoencoder的一个实例练习，这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张，现在需要用sparse autoencoder的方法训练出一个隐含层网络所学习到的特征。该网络共有3层，输入层是64个节点，隐含层是25 阅读全文

posted @ 2018-11-26 23:44 Alan_Fire 阅读(232) 评论(0) 推荐(0)

CS229 6.4 Neurons Networks Autoencoders and Sparsity

摘要：BP算法是适合监督学习的，因为要计算损失函数,计算时y值又是必不可少的，现在假设有一系列的无标签train data：，其中，autoencoders是一种无监督学习算法，它使用了本身作为标签以此来使用BP算法进行训练，即，见如下示例：自编码器尝试学习一个的函数，它尝试逼近一个恒等函数，从而阅读全文

posted @ 2018-11-26 23:41 Alan_Fire 阅读(232) 评论(0) 推荐(0)

CS229 6.3 Neurons Networks Gradient Checking

摘要：BP算法很难调试，一般情况下会隐隐存在一些小问题，比如（off-by-one error），即只有部分层的权重得到训练，或者忘记计算bais unit，这虽然会得到一个正确的结果，但效果差于准确BP得到的结果。有了cost function，目标是求出一组参数W，b，这里以表示，cost func 阅读全文

posted @ 2018-11-26 23:39 Alan_Fire 阅读(194) 评论(0) 推荐(0)

CS229 6.2 Neurons Networks Backpropagation Algorithm

摘要：今天得主题是BP算法。大规模的神经网络可以使用batch gradient descent算法求解，也可以使用 stochastic gradient descent 算法，求解的关键问题在于求得每层中每个参数的偏导数，BP算法正是用来求解网络中参数的偏导数问题的。先上一张吊炸天的图，可以看到BP 阅读全文

posted @ 2018-11-26 23:38 Alan_Fire 阅读(253) 评论(0) 推荐(0)

神经网络反向传播梯度计算数学原理

摘要：[神经网络]反向传播梯度计算数学原理 1 文章概述本文通过一段来自于Pytorch官方的warm-up的例子：使用numpy来实现一个简单的神经网络。使用基本的数学原理，对其计算过程进行理论推导，以揭示这几句神奇的代码后面所包含的原理。估计对大多数的同学来说，看完这个文章，肯定会是这样的感觉：字阅读全文

posted @ 2018-11-19 09:50 Alan_Fire 阅读(740) 评论(0) 推荐(0)

反向传播神经网络极简入门

摘要：我一直在找一份简明的神经网络入门，然而在中文圈里并没有找到。直到我看到了这份162行的Python实现，以及对应的油管视频之后，我才觉得这就是我需要的极简入门资料。这份极简入门笔记不需要突触的图片做装饰，也不需要赘述神经网络的发展历史；要推导有推导，要代码有代码，关键是，它们还对得上。对于欠缺的背景阅读全文

posted @ 2018-11-16 22:55 Alan_Fire 阅读(1088) 评论(0) 推荐(0)

随笔分类 - 神经网络