序列建模：RNN、LSTM 与 Transformer 的技巧异同深度解析

摘要

捕捉数据中的 “时序依赖” 与 “全局关联”。循环神经网络（RNN）作为早期主流架构，奠定了序列建模的基础，但受限于梯度消失 / 爆炸问题；长短期记忆网络（LSTM）通过门控机制突破了这一局限，成为中长期序列建模的标杆；而 Transformer 凭借自注意力机制颠覆了传统时序依赖的建模方式，以并行计算能力和全局关联捕捉能力成为当前主流架构。本文将从结构设计、核心特性、性能表现、适用场景四大维度，系统对比三者的异同，剖析技术演进的内在逻辑。就是序列建模是自然语言处理（NLP）、语音识别、时序预测等领域的核心任务，其核心目标

一、引言

序列数据（如文本、语音、时序传感器数据）的核心特征是 “顺序相关性”—— 当前内容的含义往往依赖于历史或未来的上下文信息。例如，翻译句子时需结合前后语义，语音识别需关联相邻音节，时序预测需基于历史数据推断趋势。

RNN、LSTM、Transformer 均是为解决序列建模而生的深度学习架构，但三者的设计思路存在本质差异：

• RNN 以 “循环传递” 建模时序依赖，结构简洁但能力有限；

• RNN 的改进版，凭借门控机制强化长序列依赖捕捉；就是LSTM

• Transformer 跳出 “循环依赖” 框架，以 “全局注意力” 实现并行建模，彻底重构了序列建模的范式。

理解三者的异同，是选择合适架构、优化模型性能的关键。

二、核心结构：从 “循环依赖” 到 “全局注意力”

2.1 RNN：基础循环结构的本质

RNN 的核心是 “循环单元” 与 “隐藏状态（Hidden State）”，其结构可简化为：

$h_t=\sigma (W\cdot x_t+U\cdot h_{t-1}+b)$

$y_t=\text{Softmax}(V\cdot h_t+c)$

• $x_t$：第 $t$步的输入向量；

• $h_t$：第 $t$步的隐藏状态，承载历史信息（$h_{t-1}$是前一步隐藏状态）；

• $W、U、V$：可学习权重矩阵，$b、c$：偏置项；

• $\sigma$：激活函数（如 tanh、sigmoid）。

核心逻辑：隐藏状态 $h_t$是 “历史信息的累加器”，每一步都基于当前输入和前一步隐藏状态更新，通过循环传递实现时序依赖建模。

2.2 LSTM：门控机制破解 RNN 瓶颈

LSTM 保留了 RNN “循环传递隐藏状态” 的核心框架，但引入了细胞状态（Cell State） 和三门控机制（遗忘门、输入门、输出门），克服了传统 RNN 长序列训练时的梯度消失 / 爆炸难题。

关键结构解析：

1. 遗忘门（Forget Gate）：决定历史细胞状态中哪些信息被保留：

$f_t=\sigma (W_f\cdot [h_{t-1},x_t]+b_f)$

1. 输入门（Input Gate）：决定当前输入信息哪些被写入细胞状态：

$i_t=\sigma (W_i\cdot [h_{t-1},x_t]+b_i)$

${\tilde{C}}_t=\tanh (W_C\cdot [h_{t-1},x_t]+b_C)$

1. 细胞状态更新：历史状态与当前输入的加权融合（梯度可经过细胞状态直接传递，缓解梯度消失）：

$C_t=f_t\odot C_{t-1}+i_t\odot {\tilde{C}}_t$

1. 输出门（Output Gate）：决定细胞状态中哪些信息输出到隐藏状态：

$o_t=\sigma (W_o\cdot [h_{t-1},x_t]+b_o)$

$h_t=o_t\odot \tanh (C_t)$

• $\odot$：元素 - wise 乘法；$[h_{t-1},x_t]$：前一步隐藏状态与当前输入的拼接。

核心改进：细胞状态类似 “传送带”，信息传递时仅通过门控轻微修改，梯度可长期保持，从而奏效捕捉长序列依赖。

2.3 Transformer：自注意力打破时序依赖

Transformer 完全抛弃了 RNN/LSTM 的 “循环结构”，以自注意力机制（Self-Attention） 和位置编码（Positional Encoding）为核心，实现了序列的并行建模。其核心结构包括 “编码器（Encoder）” 和 “解码器（Decoder）”，均由 “多头自注意力层” 和 “前馈神经网络层” 堆叠而成。

关键结构解析：

1. 位置编码：由于无循环传递，需显式注入位置信息（正弦 / 余弦编码或可学习编码）：

$P{E}_{(pos,2i)}=\sin (pos/10000^{2i/d})$

$P{E}_{(pos,2i+1)}=\cos (pos/10000^{2i/d})$

其中 $pos$是 token 位置，$d$是嵌入维度，$i$是维度索引。

1. 多头自注意力（Multi-Head Attention）：并行计算多个 “子注意力头”，捕捉不同维度的关联：

• 生成查询（Q）、键（K）、值（V）：$Q=X\cdot W_Q$，$K=X\cdot W_K$，$V=X\cdot V_V$；

• 拆分多头：将 Q、K、V 拆分为$h$个头部（维度$d/h$）；

• 单头注意力计算：

$\text{Attention}(Q,K,V)=\text{Softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

• 拼接多头输出：将$h$个头部结果拼接，乘权重矩阵得到最终输出。

核心逻辑：通过矩阵运算同时计算所有 token 间的关联，无需按顺序处理，实现序列内部的并行计算。

三、关键特性对比：从依赖建模到并行效率

3.1 核心差异总览表

对比维度	RNN（传统）	LSTM（RNN 改进版）	Transformer（自注意力架构）
核心结构	单一循环单元 + 隐藏状态	门控机制（三门控） + 细胞状态 + 隐藏状态	多头自注意力 + 位置编码 + 编码器 / 解码器堆叠
时序依赖建模	链式依赖：仅通过$h_{t-1}\to h_t$传递历史信息	链式依赖 + 细胞状态长距离传递	全局依赖：直接建模任意 token 对关联（无时序依赖）
并行计算能力	无（序列内部必须串行，仅批次间并行）	无（仍依赖时序传递，串行执行）	强（序列内部 + 批次间并行，GPU 高效运算）
长序列依赖捕捉	弱（梯度消失 / 爆炸，仅支持短序列）	中强（细胞状态缓解梯度问题，支持中等长度序列）	强（自注意力无距离衰减，帮助超长序列）
位置信息处理	天然隐含（时序顺序传递）	天然隐含（时序顺序传递）	显式注入（位置编码）
计算复杂度	$O(n\cdot d^2)$（$n$= 序列长度，$d$= 隐藏维度）	$O(n\cdot d^2)$（门控增加常数项，复杂度与 RNN 接近）	$O(n^2\cdot d)$（注意力矩阵乘法，$n$增大时平方增长）
参数规模	小（仅 $W、U、V$等少量权重矩阵）	中（门控机制增加权重矩阵数量）	大（多头注意力 + 多层堆叠，参数规模大）
核心缺陷	梯度消失 / 爆炸，长序列建模能力差	串行计算效率低，全局关联捕捉弱	长序列复杂度高，对算力要求高

3.2 关键特性深度解析

3.2.1 依赖建模：从 “局部链式” 到 “全局直接”

• RNN/LSTM：依赖 “时序链式传递”—— 当前 token 只能通过前一步隐藏状态$h_{t-1}$间接获取历史信息，距离越远的信息衰减越严重（LSTM 虽缓解但未根治）；

• Transformer：依赖 “自注意力直接关联”—— 任意两个 token 可直接计算相似度，无需中间传递，全局信息捕捉更高效（如长文本中的上下文关联）。

3.2.2 并行效率：架构设计决定的鸿沟

• RNN/LSTM：本质是 “串行计算模型”—— 第$t$步必须等待第$t-1$ 步隐藏状态 $h_{t-1}$计算完成，即使 GPU 也无法并行处理单个序列内部的 token；

• Transformer：本质是 “并行计算模型”—— 所有 token 的注意力计算基于矩阵运算，GPU 可同时处理整个序列的所有 token，训练 / 推理速度较 RNN/LSTM 提升一个数量级。

3.2.3 长序列处理：复杂度与能力的权衡

• RNN：长序列（如$n>100$）梯度消失严重，几乎无法捕捉远距离依赖；

• LSTM：可处理中等长度序列（如$n<500$），但序列过长时，链式传递仍会导致信息衰减，且串行效率极低；

• Transformer：可处理超长序列（如$n>1000$），但复杂度随$n^2$增长 —— 当$n=1000$时，复杂度是 RNN 的 1000 倍，需经过稀疏注意力、分层注意力等优化手段降低成本。

四、适用场景对比：架构选型的核心依据

4.1 RNN：轻量型短序列任务

• 适用场景：短序列、实时性要求高、算力有限的任务，如：

  • 短文本分类（如情感分析、垃圾邮件检测）；

  • 轻松语音识别（短语音片段）；

  • 边缘设备端的轻量化时序预测（如简单传感器素材预测）。

• 优势：参数少、推理速度快、部署成本低；

• 劣势：长序列建模能力差，不适合复杂上下文依赖任务。

4.2 LSTM：中长时序依赖任务

• 适用场景：需捕捉中长期时序依赖、对并行效率要求不高的任务，如：

  • 语音识别（长语音片段）；

  • 机器翻译（早期主流架构）；

  • 时序预测（如股票价格、电力负荷预测）；

  • 文本生成（短文本生成，如对话机器人）。

• 优势：长序列依赖捕捉能力优于 RNN，参数规模适中；

• 劣势：串行计算效率低，训练周期长，全局关联捕捉弱。

4.3 Transformer：复杂全局依赖任务

• 适用场景：长序列、全局依赖强、算力充足的任务，如：

  • 大语言模型预训练（如 BERT、GPT、LLaMA）；

  • 高精度机器翻译（长文本翻译）；

  • 跨模态建模（如 ViT 图像分类、图文生成）；

  • 文档摘要、长文本生成、代码生成。

• 优势：并行效率高、全局关联捕捉强、模型表达能力强；

• 劣势：算力要求高（需 GPU/TPU 支持），长序列复杂度高，小数据场景易过拟合。

五、技术演进逻辑与总结

5.1 演进脉络：问题驱动的架构迭代

序列建模架构的演进，本质是 “解决前一代架构核心缺陷” 的过程：

1. RNN 奠定了 “循环传递历史信息” 的基础，但无法解决长序列梯度问题；

2. LSTM 通过门控机制和细胞状态，针对性解决了 RNN 的梯度消失 / 爆炸，强化了长序列依赖捕捉；

3. Transformer 跳出循环架构，以自注意力机制消除了 RNN/LSTM 的 “串行效率低” 和 “全局关联弱” 两大核心痛点，开启了并行序列建模的时代。

5.2 核心结论

• 捕捉数据中的时序依赖与上下文关联；就是相同点：三者均是序列建模的深度学习架构，核心目标

• “并行全局关联模型”；就是核心差异：RNN 是 “基础串行模型”，LSTM 是 “优化长依赖的串行模型”，Transformer

• 选型原则：

  • 算力有限、短序列、实时性要求高 → 选 RNN；

  • 需捕捉中长期时序依赖、算力适中 → 选 LSTM；

  • 长序列、全局依赖强、算力充足 → 选 Transformer（或其优化变体）。

未来，序列建模架构的发展方向将是 “Transformer 的效率优化”（如稀疏注意力、量化、蒸馏）与 “RNN/LSTM 的轻量化升级”（如门控循环单元 GRU 的改进），以平衡模型能力、计算效率和部署成本。