lxyhaha

摘要： 在causerec这篇文章里面用到了contrastive learning的方法。 而contrastive learning是和generative method平行的用于自监督学习的另一种方法。 1. 方法： 将数据分成正样本与负样本在特征空间进行对比 2.难点： 构造正负样本 3.与gene 阅读全文

摘要： 最近在调类似循环神经网络的模型，当把T增大的时候，容易出现loss为nan的情况，然后梯度也爆炸。 1.问题原因：在循环神经网络中 隐藏层的梯度会因为t比较小或T比较大的情况下变得非常大，从而影响在反向传播求梯度中包含了隐藏层的梯度这一项的权重梯度值。如果Whh小于1则会出现梯度衰减，反之梯度爆炸。 阅读全文