Super_JJboom

摘要： 上一篇文章介绍了RNN的工作原理和在图像标注上的应用，这篇介绍RNN的变体LSTM。 要知道为什么会出现LSTM，首先来看RNN存在什么问题。RNN由于激活函数和本身结构的问题，存在梯度消失的现象，导致 （1）网络结构不能太深，不然深层网络的梯度可以基本忽略，没有起到什么作用，白白增加训练时间。 （ 阅读全文

摘要： RNN介绍 神经网络包含输入层、隐层、输出层，通过激活函数控制输出，层与层之间通过权值连接。激活函数是事先确定好的，那么神经网络模型通过训练“学“到的东西就蕴含在“权值“中。 RNN与普通神经网络最大的不同就是建立了时序和状态的概念，即某个时刻的输出依赖与前一个状态和当前的输入，所以RNN可以用于处 阅读全文