摘要： （一）注意力崩溃 注意力崩溃是指，patch之间的注意力指标变得均匀，并没有起到区分重要性patch的作用。 阅读全文

摘要： （一）detach import torcha = torch.tensor([1, 2, 3.], requires_grad=True) out = a.sigmoid() c = out.detach() 1.c和out指向同一个内存，但是c将requires_grad变为False。 2.当 阅读全文

摘要： 软注意力机制就是虽然词语权重不同，但是在训练模型的时候雨露均沾，每个词语都用到，焦点词语的权重大。软性注意力（Soft Attention）机制是指在选择信息的时候，不是从N个信息中只选择1个，而是计算N个输入信息的加权平均，再输入到神经网络中计算。硬注意力机制是从存储的多个信息中只挑出一条信息来， 阅读全文