摘要：nll_loss 输入的是求过log_softmax之后的值，默认reduction='mean'，计算的是平均loss，即将targets对应的log_prob相加再求均值： >>> import torch >>> logits=torch.randn(2,3) >>> logits tenso 阅读全文

摘要：论文：https://arxiv.org/pdf/1901.02860.pdf 源码：https://github.com/kimiyoung/transformer-xl 简介：Transformer-XL（extra long）是为了进一步提升Transformer建模长期依赖的能力。它的核心算 阅读全文

摘要：使用nll_loss时，如果想计算batch的loss，假设loss函数输入x的shape为 (N, d, C)，其中N是batch_size，d是句子长度，C是vocab_size，标签target y的shape为(N, d)。 nll_loss函数要求输入为 (N, C, d)，target为 阅读全文