注意力架构变迁总结：稀疏、线性、SSM、混合架构如何摆脱 O(L²) 的代价

自注意力（Self-attention）支撑了 Transformer 近十年，每个 Token 都要关注序列中的每一个其他 Token让这些模型能够推理的机制，而且恰恰也是成本飙升的根源：上下文翻倍，计算量大致翻四倍。这个 O(L²) 的惩罚项年复一年地限制着提示词（Prompt）能写多长、一个 Token 能卖多便宜。

业界一直在寻找改进的方法，比如稀疏注意力（Sparse Attention）和一个线性注意力（Linear Attention）还有状态空间模型（State Space Model）。

左图：尽管是稀疏的，DeepSeek 的 NSA 在通用、长上下文和推理基准测试的平均表现上都优于完整注意力。右图：在 64k Token 时，它在解码（decode）、前向（forward）、反向（backward）每个阶段都快上数倍。

 

https://avoid.overfit.cn/post/e664e670be4a4845ba86fa355febb02d