2023年6月18日
点积注意力、加性注意力和缩放点积注意力
摘要： 什么是点积注意力、加性注意力和缩放点积注意力？点积注意力（Dot Product Attention）：点积注意力是一种注意力机制，用于计算输入向量之间的相似度。它通过计算两个向量的点积来度量它们的相似程度，然后对结果进行归一化处理得到注意力权重。点积注意力的计算公式如下： 注意力权重 = soft 阅读全文
posted @ 2023-06-18 21:17 管道工人刘博 阅读(4743) 评论(0) 推荐(0)
不同相似度计算方法的特点和优缺点
摘要： 相似度计算方法有很多种，以下是一些常用的算法： 1. 余弦相似度（Cosine Similarity）：用于计算向量之间的相似度，常用于文本数据的相似度计算。它通过计算两个向量之间的夹角余弦值来衡量它们的相似程度，取值范围为[-1, 1]，值越接近1表示越相似。 2. 欧氏距离（Euclidean 阅读全文
posted @ 2023-06-18 21:15 管道工人刘博 阅读(3082) 评论(0) 推荐(0)
查询和键之间的相似度
摘要： 查询和键的联合嵌入空间查询和键的联合嵌入空间是指在注意力机制中，将查询（Q）和键（K）映射到相同的嵌入空间，以便计算它们之间的相似度或相关性。 在注意力机制中，我们使用查询向量（Q）来表示我们要关注的内容或信息，而键向量（K）表示我们要对其进行关注的内容或信息。通过将查询和键映射到相同的嵌入空间，我 阅读全文
posted @ 2023-06-18 21:11 管道工人刘博 阅读(299) 评论(0) 推荐(0)