黎明程序员

摘要： 目录 随机初始化 使用预训练模型 参考资料 可以随机初始化、也可以使用预训练好的，这里我们分类讨论 随机初始化 从上图可以看到，pytorch的embedding可以是用一个正态分布随机初始化的 对应代码 from io import open import unicodedata import s 阅读全文

摘要： 目录 定义网络 梯度反向传播 梯度更新 面试时的变相问法 参考资料 BPTT(back-propagation through time)算法是常用的训练RNN的方法，其实本质还是BP算法，只不过RNN处理时间序列数据，所以要基于时间反向传播，故叫随时间反向传播。 BPTT算法在吴恩达和李宏毅等教授 阅读全文