2025年10月21日
分组查询注意力（GQA）的Pytorch实现
摘要： 自注意力层（分组查询注意力） 初始化 class SelfAttention(nn.Module): def __init__(self, config, layer_idx): super().__init__() self.layer_idx = layer_idx self.n_head = 阅读全文
posted @ 2025-10-21 09:55 Luxxx23 阅读(6) 评论(1) 推荐(1)