学习记忆循环神经网络心得

 

   

 

 

如有缪误欢迎指正

 

 

GRU结构向前传播 心得(欢迎指正)

当遗忘门等于0的时候当前信息抛弃 之前记忆前传

当遗忘门等于1 的时候之前记忆抛弃 当前信息前传

当遗忘门的值为01之间的时候 调控前传的记忆与信息的比例

 

QAQ

Q:LSTM与GRU 的区别

A: LSTM 数据量大的时候选用

A: GRU 结构相对简单,但是训练速度会快一些

通常商业应用多选用LSTM

R 为重置门

Z 为更新门

门使得我们将传到的参数可控制在0-1之间

该函数代表的是门

模型输入的参数

为输入  为上一时刻状态

 

模型学的参数

 权重参数

 偏移参数

 

候选隐藏状态

按元素相乘

 

posted @ 2018-11-17 11:27  elevenend  阅读(448)  评论(0编辑  收藏  举报