CJK'sBLOG

摘要： Bi-LSTM @ 1.理论 1.1 基本模型 Bi-LSTM模型分为2个独立的LSTM,输入序列分别以正序和逆序输入至2个LSTM模型进行特征提取,将2个输出向量进行拼接后形成的词向量作为该词的最终特征表达(因此底层维度是普通LSTM隐藏层维度的两倍) 1.2 Bi-LSTM的特点 Bi-LSTM 阅读全文

摘要： LSTM 1.理论 1.1 LSTM与RNN 1.1.1 RNN的缺点 如果训练非常深的神经网络,对这个网络做从左到右的前向传播和而从右到左的后向传播,会发现输出$y^{}$很难传播回去,很难影响前面的权重,这样的梯度消失问题使得RNN常常出现局部效应,不擅长处理长期依赖的问题 和梯度爆炸不同的是, 阅读全文