2023年6月20日
图解transformer中的自注意力机制
摘要： 本文将将介绍注意力的概念从何而来，它是如何工作的以及它的简单的实现。 注意力机制 在整个注意力过程中，模型会学习了三个权重:查询、键和值。查询、键和值的思想来源于信息检索系统。所以我们先理解数据库查询的思想。 假设有一个数据库，里面有所有一些作家和他们的书籍信息。现在我想读一些Rabindranat 阅读全文
posted @ 2023-06-20 09:43 deephub 阅读(187) 评论(0) 推荐(0)