摘要： 这里的S是Q*K （ bs, multi_head, seq_len, seq_Len ）,相对位置编码考虑i,j亮点的相对情况即可 S_rel_shift[..., i, j] = S_rel[..., i, j - i + seq_len - 1] import torch import tor 阅读全文