06 2025 档案

Attention研究
摘要：一、背景介绍 正好在工作中需要用到 Attention 来提升模型的去噪效果，因此进行了一些研究。整理了一下自己的理解过程。 CNN有归纳偏置（inductive bias），即：Locality（局部相关性）和Spatial Invariance（空间不变性），而Self-Attention 没有 阅读全文
posted @ 2025-06-05 10:41 指间的执着 阅读(56) 评论(0) 推荐(0)