2024年11月19日
李沐大佬-动手学深度学习笔记-注意力机制
摘要： 注意力机制（显示考虑随意线索） 随意线索：查询query 每个输入是一个value和不随意线索key的对 通过注意力池化层偏向性选择某些输入 历史演变： 非参注意力池化层：60年代提的Nadaraya-Watson核回归，类似于knn 如果使用高斯核，fx 函数类似于softmax和y（y是一个va 阅读全文
posted @ 2024-11-19 22:45 Tomcat_1996 阅读(152) 评论(0) 推荐(0)