haosenstudio

摘要： 注意力机制是一种在给定文本词向量中查找重要词，并赋予一定重要权值的机制。假设输入序列为X，三个随机初始的矩阵键值K(Key) 、查询值Q(Query)和值V(Value)。当 Query、Key、Value 都是从同一个输入序列 X 中生成时，就称为自注意力机制（Self-Attention）。因为 阅读全文

摘要： 为了全面准确提取评论文本中的特征信息，将引入多头自注意力机制来解决上述问题。设计的MA-IndRNN的模型主要分为输入层、特征提取层、注意力层和最终的输出层，加入多头注意力机制的目的就是分析特征维度的权重。 输入层： 在这里模型的输入数据为分割好的文本评论数据，为了可以将自然语言文本处理为可以使计算 阅读全文