最爱丁珰

摘要： 梯度消失问题是指在深度神经网络中，反向传播时梯度随着层数的增加逐渐变小，导致早期层的权重更新非常缓慢，甚至几乎不更新。这个问题在长序列的循环神经网络（RNN）中尤为明显。 为了缓解这个问题，门控循环单元（GRU）和长短期记忆网络（LSTM）引入了门控机制，使得网络能够更好地控制信息的流动。下面我们将 阅读全文

摘要： 字符级语言模型的优缺点见下 好处：不用担心\(\left<\text{UNK}\right>\)的出现 坏处：最终的序列要长的多；训练也要复杂得多（对内存和速度的要求都要高得多） 现如今，人们一般使用单词级RNN，但是也有特殊情况会使用字符级RNN 在训练了一个RNN后，我们可以利用这个RNN采样， 阅读全文