摘要：首先明确一下，本文需要对RNN有一定的了解，而且本文只针对标准的网络结构，旨在彻底搞清楚反向传播和BPTT。 反向传播形象描述 什么是反向传播？传播的是什么？传播的是误差，根据误差进行调整。 举个例子：你去买苹果，你说，老板，来20块钱苹果（目标，真实值），老板开始往袋子里装苹果，感觉差不多了（预测 阅读全文

摘要：神经网络的反向传播到底是个什么样的过程？今天就用链式求导揭开这个黑盒子。 这对于理解和设计神经网络很有帮助。 我们使用一个简单的逻辑回归的例子 这里绿色是前向计算，褐红色是反向传播。 0.73是最终输出，1是误差。 可以看到整个计算流程就是上面那个逻辑回归表达式。 好了，误差有了，开始反向传播吧 很 阅读全文

摘要：首先学习RNN需要一定的基础，即熟悉普通的前馈神经网络，特别是BP神经网络，最好能够手推。 所谓前馈，并不是说信号不能反向传递，而是网络在拓扑结构上不存在回路和环路。 而RNN最大的不同就是存在环路。 为什么需要RNN 1. 特征之间序列性 普通的神经网络的输入，具备样本独立同分布（iid）， 特征 阅读全文

摘要：在学习RNN的时候，经常会用CNN来类比，过程中我发现自己对CNN有些地方理解的还不是很清楚。 疑惑1：CNN卷积层的神经元是什么样的？ CNN的卷积层包括各种概念，各种计算，但是我忽然发现，基本没人提到卷积层的神经元，而且在tensorflow编程中，也无需设置卷积层的神经元，这使得我们更加忽略了 阅读全文

摘要：这部分许多内容要类比CNN来进行理解和解释，所以需要对CNN比较熟悉。 RNN的特点 1. 权值共享 CNN权值共享，RNN也有权值共享，在入门篇可以看到RNN结构图中，权重使用的是同样的字母 为什么要权值共享 a. 减少weight，减少计算量，这点其实比较好理解。 试想10X10的输入，全连接隐 阅读全文

摘要：卷积神经网络真的挺难靠文字讲清楚的，一般需要大量图片来辅助理解，时间关系，我就不仔细讲了，这里记录一下大致的算法和注意点。 首先我概括一下卷积神经网络 卷积神经网络是通过卷积核进行特征提取，从一个样本身上利用很多个卷积核提取这个样本的很多特征，通过池化进行降维，然后利用普通的全连接神经网络进行训练。 阅读全文