Shaw_喆宇

摘要： 1.（引用：【深度学习】RNN中梯度消失的解决方案（LSTM） ） 梯度裁剪原理：既然在BP过程中会产生梯度消失（就是偏导无限接近0，导致长时记忆无法更新），那么最简单粗暴的方法，设定阈值，当梯度小于阈值时，更新的梯度为阈值，如下图所示： P.S.在原博中，评论中有提到，常用的梯度裁剪的方法是限制上 阅读全文

摘要： tf.matmul(a,b)将矩阵a乘以矩阵b，生成a * b，这里的a,b要有相同的数据类型，否则会因为数据类型不匹配而出错。 如果出错，请看是前后分别是什么类型的，然后把数据类型进行转换。 阅读全文