2025年2月25日
selfAttention
摘要： 在PyTorch框架中，nn.MultiheadAttention模块用于实现多头注意力机制，这是Transformer架构中的一个关键组成部分。该模块的输入形状如下： query：形状为(L, N, E)的张量，其中： L 是序列的长度（例如，句子中的单词数量）。 N 是批次大小。 E 是特征维度 阅读全文
posted @ 2025-02-25 11:37 seekwhale13 阅读(81) 评论(0) 推荐(0)