2025年10月29日
问大模型CAN的co-attention
摘要： req: 如何理解嵌入向量用于构建一个微型MLP的参数（权重和偏置），一般来说MLP的权重是训练得到的 res: 你问得非常准确，这是理解CAN的关键一步。 在普通MLP里，权重矩阵 W 和偏置向量 b 确实是“可训练的张量”，它们与输入无关，只在反向传播时被更新。 CAN的做法是：把“权重/偏置” 阅读全文
posted @ 2025-10-29 11:04 saulstavo 阅读(7) 评论(0) 推荐(0)