AncilunKiang

摘要： 论文标题 《Generic Dynamic Graph Convolutional Network for traffic flow forecasting》 干什么活：交通流预测（traffic flow forecasting ） 方法：动态图卷积网络（Dynamic Graph Convolu 阅读全文

摘要： 论文标题 《Attention Is All You Need》 XXX Is All You Need 已经成一个梗了，现在出现了很多叫 XXX Is All You Need 的文章，简直标题党啊，也不写方法，也不写结果，有点理解老师扣论文题目了。 作者 这个作者栏太夸张了。八个作者全部标星，均 阅读全文

摘要： 自注意力同时具有并行计算和最短的最大路径长度这两个优势。Transformer 模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管 Transformer 最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。 10.7.1 模 阅读全文

摘要： 在注意力机制中，每个查询都会关注所有的键－值对并生成一个注意力输出。由于查询、键和值来自同一组输入，因此被称为 自注意力（self-attention），也被称为内部注意力（intra-attention）。本节将使用自注意力进行序列编码，以及使用序列的顺序作为补充信息。 import math i 阅读全文

摘要： 多头注意力（multihead attention）:用独立学习得到的 h 组不同的线性投影（linear projections）来变换查询、键和值，然后并行地送到注意力汇聚中。最后，将这 h 个注意力汇聚的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，以产生最终输出。 对于 h 个注 阅读全文

摘要： 10.4.1 模型 Bahdanau 等人提出了一个没有严格单向对齐限制的可微注意力模型。在预测词元时，如果不是所有输入词元都相关，模型将仅对齐（或参与）输入序列中与当前预测相关的部分。这是通过将上下文变量视为注意力集中的输出来实现的。 新的基于注意力的模型与 9.7 节中的模型相同，只不过 9.7 阅读全文

摘要： 上一节使用的高斯核的指数部分可以视为注意力评分函数（attention scoring function），简称评分函数（scoring function）。 后续把评分函数的输出结果输入到softmax函数中进行运算。最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。该过程可描述为下图： 阅读全文

摘要： import torch from torch import nn from d2l import torch as d2l 1964 年提出的 Nadaraya-Watson 核回归模型是一个简单但完整的例子，可以用于演示具有注意力机制的机器学习。 10.2.1 生成数据集 根据下面的非线性函数生 阅读全文

摘要： 10.1.1 生物学中的注意力提示 “美国心理学之父” 威廉·詹姆斯提出的双组件（two-component）框架： 非自主性提示：基于环境中物体的突出性和易见性 自主性提示：受到了认知和意识的控制 10.1.2 查询、键和值 注意力机制与全连接层或汇聚层区别开来的元素：是否包含自主性提示 在注意力 阅读全文

摘要： 本节将介绍几大： 贪心搜索（greedy search）策略 穷举搜索（exhaustive search） 束搜索（beam search） 9.8.1 贪心搜索 贪心搜索已用于上一节的序列预测。对于输出序列的每一时间步 \(t'\)，都从 \(\boldsymbol{Y}\) 中找到具有最高条件 阅读全文