递归神经网络

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 Relu :梯度非1即0

 

 

 

 

 

 

：激活函数

 

 

：输入门    ：临时的中间状态

 

 

 

 

 

 

 综合：