2025年3月7日
为什么MLA中求query也乘了降维矩阵和升维矩阵
摘要： MLA的公式放在这里： \[\begin{align*} \mathbf{c}_t^{KV} &= W^{DKV}\mathbf{h}_t &(1) \\ [\mathbf{k}_{t,1}^C, \mathbf{k}_{t,2}^C, ..., \mathbf{k}_{t,n_h}^C] = \m 阅读全文
posted @ 2025-03-07 16:35 岁 阅读(121) 评论(0) 推荐(0)