Paper Reading

论文精读

论文精读方法参考B站UP主跟李沐学AI
阅读顺序：Abastract -> Introduction -> Conclusion -> Related Work

ResNet

网络结构

核心模块：Residual Block

代码实现

Transformer

网络结构

Multi-Head Attention

\[Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}}V) \]

• Q(Query), K(Key), V(Value)

  Q 相当于近似的 K

• \(QK^T\)

  向量内积：\(\vec{a} \cdot \vec{b} = abcos<\vec{a}, \vec{b}>\)

  两个向量相似度越大的时候向量的内积越大，反之则越小；当两个向量正交时内积为0

对于每一个输入的Vectorized Token进行线性映射都会得到对应的三个矩阵\(W^Q\), \(W^K\), \(W^V\)，这三个矩阵分别与输入的\(Vector\)相乘即可得到对应的\(Q\), \(K\), \(V\)，之后再按照上面的注意力计算公式进行计算即可

备注：线性映射（nn.Linear）实际作用就是将输入张量乘以一个高维权重矩阵\(Weight\)然后再加上一个偏置\(Bias\)，因此上面的\(W^Q\), \(W^K\), \(W^V\)实际都是线性层中的权重参数

1. Self-Attention

2. Cross-Attention

Feed-Forward Networks

\[FFN(x) = max(0, xW_1+b_1)W_2 + b_2 = Linear(ReLU(Linear(x))) \]

Positional Encoding

位置编码是为了处理连续的时间序列数据，区别于传统的RNN模型，第 \(t\) 时间步的计算依赖于第 \(t-1\) 步的计算结果，难以进行并行计算

\(PE_{(pos, 2i)} = sin(pos / 10000^{2i/d_{model}})\)

\(PE_{(pos, 2i+1)} = cos(pos / 10000^{2i/d_{model}})\)

将 \(pos\) 位置处的 \(token\) 编码成长度为 \(d_{model}\) 的向量，偶数位置求sine，奇数位置求cosine，保证最后得到的每一个 \(token\) 编码后的向量都是不同的（但是长度相同）

Vision Transformer

Attention机制的由来

1. 原始RNN网络输入张量和输出张量的长度是相同的
2. Seq2Seq模型的输入和输出长度是不相同的

BN 和 LN 的区别

Batch Normalization是在每一个batch中抽取每个位置的张量求均值和方差

Layer Normalization是在每一个layer中抽取所有的张量求均值和方差

DeiT

知识蒸馏

简单来讲就是使用一个参数量更大，效果更好的模型作为Teacher model来辅助训练一个参数量更小的Student model模型

GPT1

LSH算法：判断文章的相似度（通过word的集合进行判断）

Beam Search ?