摘要：梯度消失问题是指在深度神经网络中，反向传播时梯度随着层数的增加逐渐变小，导致早期层的权重更新非常缓慢，甚至几乎不更新。这个问题在长序列的循环神经网络（RNN）中尤为明显。 为了缓解这个问题，门控循环单元（GRU）和长短期记忆网络（LSTM）引入了门控机制，使得网络能够更好地控制信息的流动。下面我们将 阅读全文

摘要：这里的nn.GRU只传入了参数num_inputs和num_hiddens，那么为什么没有num_outputs呢？难道跟从零开始实现的代码一样，有num_inputs=num_outputs吗？实际上不是的，我们的GRU只会输出隐状态，最终的输出状态是需要再连接一个全连接层什么的。我们去看d2l. 阅读全文