【深度学习】torch中LSTM的参数详细情况

LSTM

 

 其中：

ft为遗忘门，it为输入门，gt为输入，ot为输出门

weight_ih_l0 = wii wif wig wio 是x的变换

weight_hh_l0 = whi whf whg who 是h的变换

 

假设为一层的lstm, 将m维向量映射为n维

那么ct, ht均为n维， Wii均为nxm维，weight_ih_l0为4nxm维，Whi均为nxn维，weight_hh_l0为4nxn维

假设为多层的lstm， 那么除了第一层之外，后面的层数都是4nxn的

 

 

$$\stackrel{i^t=\sigma (W^{ii}{x}^t+b^{ii}+W^{hi}{h}^{t-1}+b^{hi})f^t=\sigma (W^{if}{x}^t+b^{if}+W^{hf}{h}^{t-1}+b^{hf})g^t=\tanh (W^{ig}{x}^t+b^{ig}+W^{hg}{h}^{t-1}+b^{hg})o^t=\sigma (W^{io}{x}^t+b^{io}+W^{ho}{h}^{t-1}+b^{ho})c^t=f^t\odot c^{t-1}+i^t\odot g^t}{h^t=o^t\odot \tanh (c^t)}$$