摘要: sort()函数:用于对列表进行排序,可通过指定参数来设定排序方式。 函数用法如下: list.sort(key = None, reverse = False) key -- 可指定列表中的一个元素进行排序 reverse -- 排序规则 reverse = True 降序 reverse = F 阅读全文
posted @ 2021-12-29 14:26 Liang-ml 阅读(112) 评论(0) 推荐(0)
摘要: Scaled Dot Product Attention: 实现如图的操作,令Q乘以K的转置,如果需要mask,乘以Mask矩阵,再做Softmax操作,得到注意力权重矩阵,最后乘以V获得self-attention的输出。 class ScaledDotProductAttention(nn.Mo 阅读全文
posted @ 2021-12-29 13:46 Liang-ml 阅读(328) 评论(0) 推荐(0)