Decoder-only 架构全景：任务统一、信息交互与表示更新

Decoder-only 架构全景：任务统一、信息交互与表示更新

Decoder-only 将任务描述、输入内容和生成历史组织成一条连续的 Token序列，并以自回归方式预测下一个 Token。自然语言理解、问答、摘要、代码生成和部分逻辑推理任务都可以转换为这种序列形式，进而使用统一的训练目标和主要计算路径。

在模型内部，因果自注意力按照序列顺序整合已有信息，前馈网络更新每个位置的表示，多层结构则持续重复这两类计算。统一的结构使不同来源的数据能够共同训练一套模型参数，因果掩码也明确限制了每个位置可以读取的信息范围。

本文先介绍 Decoder-only 的自回归任务定义，再比较它与 Encoder–Decoder 的计算路径，随后说明注意力机制、前馈网络、网络深度和训练目标在统一序列生成中的作用。

---

一、自回归语言建模是 Decoder-only 的基础

自回归语言模型对一个 Token 序列建立如下概率模型：

\[x_1,x_2,\ldots,x_T \]

根据概率的链式法则，整个序列的联合概率可以写成：

\[P(x_1,x_2,\ldots,x_T) = \prod_{t=1}^{T}P(x_t\mid x_{<t}) \]

在每一个位置上，模型估计的条件概率为：

\[P(x_{t+1}\mid x_{\le t}) \]

这个概率表示：模型根据当前位置之前的内容，计算下一个 Token 的概率分布。

GPT 系列沿用了这种生成式预训练方式 [2]。GPT-2 的实验显示，在大规模、多来源文本上使用下一 Token 预测目标进行训练，模型能够初步处理问答、摘要和翻译等任务 [3]。GPT-3 则把任务说明和少量示例直接放入上下文，并展示了模型在不更新参数的情况下完成多种任务的能力 [5]。

在上述自回归任务中，Transformer 将已有序列转换为当前位置的上下文表示：

\[[x_1,x_2,\ldots,x_t] \longrightarrow h_t \]

其中，\(h_t\) 是结合了历史信息的上下文表示。语言模型输出层再将它映射到词表空间：

\[h_t \longrightarrow z_t\in\mathbb{R}^{V} \]

\(V\) 表示词表大小，\(z_t\) 中的每一项对应一个候选 Token 的分数。

Decoder-only 可以据此概括为一种面向自回归语言建模的上下文表示系统。

---

二、从 Encoder–Decoder 到 Decoder-only：任务接口和计算路径的变化

1. Encoder–Decoder 与机器翻译的信息结构

2017 年提出的 Transformer 主要面向机器翻译等序列到序列任务 [1]。这类任务通常可以写成：

\[X\rightarrow Y \]

例如：

\[X=\text{I love Beijing} \]

\[Y=\text{我爱北京} \]

在开始生成时，输入 \(X\) 和输出 \(Y\) 的可见范围不同：

• 输入 \(X\) 在开始生成之前已经完整给出；
• 输出 \(Y\) 需要按照顺序逐个生成。

因此，原始 Transformer 将计算分为两个阶段：

\[X \xrightarrow{\text{Encoder}} H_X \]

\[Y_{<t} \xrightarrow{\text{Decoder}} P(y_t\mid Y_{<t},H_X) \]

Encoder 通过双向自注意力处理完整输入，得到输入表示 \(H_X\)。Decoder 先通过带因果掩码的自注意力处理已经生成的内容，再通过交叉注意力（Cross-Attention）读取 \(H_X\)，最后预测下一个输出 Token。

这种结构与机器翻译中输入完整可见、输出逐步生成的特点一致。

2. 两种架构的信息融合路径不同

设输入为：

\[X=[x_1,x_2,x_3] \]

已经生成的输出为：

\[Y=[y_1,y_2] \]

在 Encoder–Decoder 中，计算过程可以简化为：

\[X \xrightarrow{\text{Encoder 自注意力}} H_X \]

\[Y \xrightarrow{\text{Decoder 自注意力}} H_Y \xrightarrow{\text{Cross-Attention}(H_X)} H'_Y \]

也就是说，Decoder 先形成输出序列内部的表示，再使用这份表示查询输入信息。自注意力和交叉注意力通常使用不同的参数，因此模型可以分别学习输出内部的关系，以及输出与输入之间的关系。

Decoder-only 则把输入和输出拼接为一条序列：

\[Z=[x_1,x_2,x_3,y_1,y_2] \]

并统一使用带因果掩码的自注意力：

\[Z \xrightarrow{\text{因果自注意力}} H \]

当序列末尾是 \(y_2\)、模型准备预测下一个 Token 时，当前位置可以读取排在它之前的全部输入和输出。输入信息与输出历史在同一个自注意力模块中参与计算，不再设置单独的交叉注意力层。

两种架构都能让输出读取输入，但信息融合方式不同。Encoder–Decoder 分阶段处理输入和输出，并分别建立对应表示；Decoder-only 按一条连续序列处理二者，共享主要计算路径。

3. 因果掩码带来的边界

Encoder 的自注意力通常不使用因果掩码，因此每个输入位置都可以读取输入序列中的其他位置，并结合完整输入形成表示。标准 Decoder-only 使用因果掩码，每个位置只能读取它自己及之前的 Token，不能读取后面的 Token。

例如，在序列：

\[[x_1,x_2,x_3,y_1,y_2] \]

中，\(y_2\) 可以读取 \(x_1,x_2,x_3,y_1\)；但 \(x_1\) 不能读取 \(x_2\) 和 \(x_3\)。所以，把输入和输出拼接后进行因果自注意力，与 Encoder 对输入进行完整的双向编码并不等价。

这一差异也说明，两种架构各有适用范围：

• Encoder–Decoder 能够先对完整输入进行双向编码，并让自注意力与交叉注意力分别学习不同关系；
• Decoder-only 结构更统一，可以直接把指令、对话历史、示例、文档和输出组织成连续上下文；
• 具体效果仍取决于任务特点、训练数据、模型规模和实现方式，不能只根据架构名称判断优劣。

4. 从统一文本任务到统一自回归接口

T5 已经把分类、问答、摘要和翻译等任务统一为“文本输入到文本输出”的形式 [4]。例如，分类任务可以输出类别名称，问答任务可以输出答案文本。虽然任务形式得到了统一，T5 内部仍然采用 Encoder–Decoder 结构。

与 T5 不同，Decoder-only 还把指令、输入、示例和输出历史放入同一条序列，并通过统一的因果自注意力进行处理。

例如，下列内容都可以转换为 Token 序列：

• 系统指令；
• 用户问题；
• 历史对话；
• 少样本示例；
• 检索到的资料；
• 工具返回结果；
• 已经生成的内容。

模型始终执行同一个计算目标：

\[P(x_{t+1}\mid x_{\le t}) \]

这种统一有两方面意义。

第一，它减少了任务专用结构。分类任务不一定需要单独的分类头，问答、摘要和代码补全也不必分别设计完全不同的输出层。

第二，不同来源和不同形式的数据可以共同训练同一套模型参数。来自语言理解、问答、代码和推理任务的训练信号，都可以更新同一套 Token 嵌入、注意力层、前馈网络和语言模型输出层。模型因而有机会在任务之间复用语言表示、事实知识和处理信息的方法。

规模定律研究表明，语言模型的交叉熵损失与模型规模、数据量和训练计算之间存在较稳定的幂律关系 [6]。GPT-3 的实验还显示，扩大模型规模能够改善多项任务中的少样本表现 [5]。统一接口为不同任务共同更新模型参数提供了条件，但不能单独解释零样本学习（zero-shot learning）、少样本学习（few-shot learning）和上下文学习（in-context learning）的形成。

模型能力还受到数据覆盖范围与质量、参数规模、训练计算、优化方法和后训练方式等因素影响。参数共享有时也会造成任务之间相互干扰。

Decoder-only 统一了任务描述方式、主要计算路径和训练目标，使来自不同任务的数据能够共同更新同一套参数，并在生成时通过统一的上下文格式指定任务。

图 1：Encoder–Decoder 分阶段处理输入和输出；Decoder-only 将指令、输入、示例和已生成内容组织在同一条自回归序列中。

---

三、注意力机制：根据当前表示整合上下文信息

经过分词、Token 嵌入和位置处理后，输入可以表示为：

\[X\in\mathbb{R}^{T\times D} \]

其中，\(T\) 是序列长度，\(D\) 是隐藏层维度。每个位置的初始表示包含 Token 信息和位置信息。

模型需要根据当前表示，动态计算当前位置与前文各位置的相关程度。同一个词在不同句子中的含义可能不同。例如，“苹果”可以表示水果，也可以表示公司。固定的位置依赖无法覆盖这种随上下文变化的关系。

自注意力（Self-Attention）通过查询向量（Query）、键向量（Key）和值向量（Value）完成这一计算：

\[Q=XW_Q,\quad K=XW_K,\quad V=XW_V \]

其中，\(Q\)、\(K\) 和 \(V\) 都是由输入表示 \(X\) 经过线性变换得到的矩阵。矩阵中的每一行对应一个位置：\(Q\) 用于发起查询，\(K\) 用于计算位置间的匹配分数，\(V\) 提供随后参与加权求和的内容。

注意力计算为：

\[\operatorname{Attention}(Q,K,V) = \operatorname{softmax} \left( \frac{QK^T}{\sqrt{d_k}}+M \right)V \]

\(QK^T\) 计算位置之间的匹配分数，Softmax 将分数转换为权重，再对 \(V\) 做加权求和。\(M\) 表示注意力掩码。在标准 Decoder-only 中，当键位置 \(j\) 位于查询位置 \(i\) 之后时，\(M_{ij}=-\infty\)；其余合法位置取 \(0\)。Softmax 之后，未来位置的注意力权重为 \(0\)。

注意力机制由此根据当前位置和上下文内容，动态确定要读取哪些历史信息，以及各部分信息所占的权重。

经过注意力机制处理后，张量形状通常仍然是：

\[T\times D \longrightarrow T\times D \]

形状没有改变，但每个位置的表示已经结合了与它相关的上下文。这个过程产生的表示通常称为上下文化表示（Contextualized Representation）。

多头注意力会在多个表示子空间中并行完成上述计算。不同注意力头可以学习不同的关系，但这些关系由训练过程形成，并不是人工预先规定的。它们也不一定能够被简单解释为某一种固定的语言关系。

多头注意力使模型能够从多个表示子空间同时整合上下文信息。在 Decoder-only 中，各注意力头仍受同一因果方向约束，只能利用当前位置及其之前的表示。

图 2：\(Q\) 与 \(K\) 计算匹配分数，Softmax 得到注意力权重，再对 \(V\) 提供的内容向量进行加权汇总。

---

四、FFN：对每个位置的表示进行非线性变换

注意力机制负责从上下文中整合信息，FFN 随后对每个位置的表示继续进行变换。

这一步由前馈网络（Feed-Forward Network，FFN）完成。经典形式为：

\[\operatorname{FFN}(x)=W_2\sigma(W_1x) \]

其中，\(\sigma\) 是非线性激活函数。如果去掉非线性部分：

\[W_2W_1x \]

两次线性变换仍然可以合并为一次线性变换，无法提供同等的非线性表示能力。

SwiGLU 是部分现代大语言模型采用的门控 FFN 形式，PaLM 和 Llama 3 都使用了这一结构 [9][10]。相关研究在对应实验设置中观察到，Transformer 的 FFN 子层采用部分 GLU 变体时，效果优于 ReLU 或 GELU [7]。

注意力机制负责整合不同位置之间的信息，FFN 负责对每个位置的表示进行非线性变换。二者在 Transformer 层中依次执行，使模型既能利用上下文关系，也能继续更新每个位置的表示。

同一层 FFN 的位置参数共享

在一个标准 Transformer 层中，同一套 FFN 参数会应用到序列的所有位置：

\[\operatorname{FFN}(h_1), \operatorname{FFN}(h_2), \ldots, \operatorname{FFN}(h_T) \]

这里的“共享”是指同一层内的不同位置共享参数；不同 Transformer 层通常各自拥有独立的 FFN 参数。

自然语言中的绝对位置通常没有固定语义。第 17 个位置可能是人名、代码、数字或标点，因此没有必要仅根据位置为每个 Token 配置独立的 FFN。

不同内容也可以使用不同的处理参数。混合专家模型（Mixture of Experts，MoE）通过分配器（Router）选择参与计算的专家网络：

\[\text{Token} \longrightarrow \text{分配器} \longrightarrow \text{专家网络}_k \]

分配器根据当前 Token 的表示选择一个或少数几个专家网络进行计算。Switch Transformer 采用稀疏激活的专家选择方式，使不同输入可以调用不同参数，同时避免每次前向计算都激活全部专家 [8]。

参数是否共享应当根据数据中的稳定结构来决定：

• 如果不同位置没有固定语义角色，共享位置参数通常更合适；
• 如果输入内容存在稳定差异，可以根据内容动态选择不同参数；
• 在用户、商品、场景等角色明确的推荐系统中，也可以按字段或角色设计不同的处理模块。

这部分内容属于参数共享方式的延伸。对于 Decoder-only 主线而言，关键点是：标准 FFN 在同一层的所有序列位置共享参数，而 MoE 可以根据当前内容动态选择部分参数。

---

五、Transformer 的深度：逐层更新上下文表示

单层注意力机制已经能够整合上下文信息，但一层计算通常不足以形成复杂表示。

第 \(l+1\) 层接收的不是原始 Token 表示，而是第 \(l\) 层的输出：

\[X^{(l)} \]

新一层会基于这组表示重新计算：

\[Q^{(l)},K^{(l)},V^{(l)} \]

并再次更新位置之间的注意力权重和每个位置的表示。整个过程可以写成：

\[X^{(0)} \rightarrow X^{(1)} \rightarrow X^{(2)} \rightarrow \cdots \rightarrow X^{(L)} \]

每一层都会根据当前表示整合上下文信息，并通过 FFN 更新各位置表示。

因为上一层已经改变了输入表示，下一层计算出的注意力关系也可能不同。因此，多层 Transformer 不是简单重复完全相同的计算结果，而是在前一层结果的基础上继续更新表示。

残差连接和归一化为深层网络训练提供了重要支持。

残差连接的一般形式可以写成：

\[X_{l+1}=X_l+\Delta X_l \]

它让子层在已有表示的基础上学习更新量，同时为信息传播和梯度传播提供较短路径。

归一化用于调节隐藏表示的数值尺度，改善深层网络的训练稳定性。具体模型可能采用 LayerNorm、RMSNorm，以及 Pre-Norm 或 Post-Norm 等不同方案，但目标都是使多层计算更容易优化。

现代大语言模型仍然采用这一基本结构。例如，PaLM 是大规模稠密 Transformer 语言模型 [9]，Llama 3 的最大模型也使用稠密 Transformer 主干 [10]。这些实例说明，由注意力机制、FFN、残差连接和归一化组成的多层结构仍被用于超大规模模型。

在 Decoder-only 中，每一层都沿因果方向继续更新上下文表示。网络深度增加了连续更新表示的次数，但不会改变只能读取当前位置及其之前内容的约束。

---

六、下一 Token 预测目标驱动自回归预训练

经过多层 Transformer 后，位置 \(t\) 得到隐藏表示：

\[h_t\in\mathbb{R}^{D} \]

语言模型输出层将它映射到词表空间：

\[z_t=h_tW_{\text{vocab}} \in\mathbb{R}^{V} \]

经过 Softmax 后，模型得到下一个 Token 的概率分布。在自回归预训练中，训练标签通常是原序列中紧随其后的 Token，单个位置的交叉熵损失为：

\[L_t = -\log P(x_{t+1}\mid x_{\le t}) \]

从数学形式上看，每个位置都在完成一次词表范围内的分类。但整个语言模型并不只是一个普通分类器，因为它学习的是序列的条件概率，而且生成阶段会把已经生成的 Token 继续加入上下文。

预训练时，因果掩码允许模型并行计算一个训练序列中多个位置的损失。生成时，后一个 Token 依赖前面已经生成的结果，因此通常需要按顺序生成。监督微调和偏好训练可能采用不同的数据组织方式与损失函数，不属于本节讨论的下一 Token 预训练目标。

在自回归预训练阶段，模型不会直接收到“这个注意力头应当学习指代关系”或“这一层应当完成逻辑推理”的人工标签。训练过程主要提供两类约束：

• 模型结构规定信息参与计算的方式；
• 下一 Token 的预测损失判断输出是否符合训练数据。

模型内部的表示方式和计算模式由数据、目标函数、模型结构和优化过程共同形成。

---

结语：Decoder-only 的整体认识

Decoder-only 将指令、输入、示例和生成历史组织在同一条 Token 序列中，并始终计算下一个 Token 的条件概率。因果自注意力负责在可见历史范围内整合信息，FFN 更新各位置表示，多层结构则在相同因果约束下持续完成这两类计算。

统一的任务接口使自然语言理解、问答、摘要、代码生成和部分逻辑推理任务能够使用相同的输入输出形式，并共同更新一套模型参数。这种共享为跨任务迁移提供了基础，但不会消除任务差异，也不能单独保证零样本学习、少样本学习和上下文学习等能力形成。

因此，Decoder-only 的主要特点是统一自回归任务定义、上下文组织方式和主要计算路径。模型的最终表现仍由架构、训练数据、参数规模、计算量、优化方法和后训练方式共同决定。

---

参考论文与资料

[1] Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS. arXiv:1706.03762

[2] Radford, A., et al. (2018). Improving Language Understanding by Generative Pre-Training. OpenAI. 论文 PDF

[3] Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI. 论文 PDF

[4] Raffel, C., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR. arXiv:1910.10683

[5] Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. NeurIPS. arXiv:2005.14165

[6] Kaplan, J., et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361

[7] Shazeer, N. (2020). GLU Variants Improve Transformer. arXiv:2002.05202

[8] Fedus, W., Zoph, B., & Shazeer, N. (2022). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. JMLR. arXiv:2101.03961

[9] Chowdhery, A., et al. (2022). PaLM: Scaling Language Modeling with Pathways. arXiv:2204.02311

[10] Grattafiori, A., et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783