核心知识

1. Decoder-only架构本质：因果自注意力（Causal Self-Attn），掩码屏蔽未来token，自回归生成；区别于BERT双向Encoder、T5 Encoder-Decoder。
​
2. 注意力优化方案

• GQA分组查询注意力：多头拆分Q共享KV，在显存、速度、性能间折中，替代原始MHA；
  ​
• MLA、Sparse Attention、滑动窗口注意力：解决超长上下文算力爆炸，降低O(n^2)复杂度。