2022年2月24日
从Attention到Self-Attention再到Multi-Head Attention的一点小笔记
摘要： 从Attention 到 MultiHeadAttention 对Attention 的理解 Attention的本质类似于我们人类的注意力机制，寄希望于将有限的注意力集中于重点上，从而节省资源以获得最为有效的信息。 那么对于神经网络来说，什么是注意力呢？而又如何分辨什么是重点？简单来说，Atten 阅读全文
posted @ 2022-02-24 17:05 neumy 阅读(1098) 评论(0) 推荐(0) 编辑