2021年12月7日
nn.xxx 和 nn.functional.xxx的区别
摘要： 作者：肥波喇齐链接：https://www.zhihu.com/question/66782101/answer/579393790来源：知乎 两者的相同之处： nn.Xxx和nn.functional.xxx的实际功能是相同的，即nn.Conv2d和nn.functional.conv2d 都是进 阅读全文
posted @ 2021-12-07 11:29 Liang-ml 阅读(868) 评论(0) 推荐(0)
attention注意力机制的原理
摘要： 可以这样来看待注意力机制：将Source中的构成元素想象成是有一系列的<key,value>数据对构成，此时对于Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention 阅读全文
posted @ 2021-12-07 10:35 Liang-ml 阅读(985) 评论(0) 推荐(0)