AIGC标识 中-从CNN到RNN

通用的神经网络基础与训练方法讲完之后，面对具体数据时，网络结构需随数据形态而调整。本文介绍两个经典结构——先解决"看图"，再解决"读语言"。它们体现了同一思路：让网络结构匹配数据本身的特性。

一、让网络看懂图：从矩阵到 CNN

图片本质上是像素矩阵。若仍用"全连接层"（每个输入都连到每个神经元），面对一张 224×224 的彩色图，输入维度超过 15 万，参数会爆炸。卷积（Convolution） 是专门为"局部 + 平移不变"的数据设计的结构。

单个神经层（例如 3 个输入、2 个输出）由两个函数构成：

y₁ = g(w₁₁x₁ + w₁₂x₂ + w₁₃x₃ + b₁)
y₂ = g(w₂₁x₁ + w₂₂x₂ + w₂₃x₃ + b₂)

用矩阵一步表示：y = g(Wx + b)。其中 W 是权重矩阵，偏置 b 的个数等于下一层神经元个数，权重 w 的个数等于连接数（如 w₁₂ 表示第 2 个神经元的第 1 个权重）。

全连接层的问题：参数太多，且完全忽略数据空间结构（它把图片拍平成一长串，邻居关系全丢失）。

image-20261005164855743

卷积 的做法：拿一个小的卷积核（filter / kernel） 在输入上滑动，每次只看一小块局部区域，做乘加运算得到输出的一格。

卷积核的价值有两点，正是它取代全连接的关键：

  1. 参数共享，参数大幅减少：整张图共用同一组卷积核权重，不用每个像素配一套参数。
  2. 天然提取局部特征：边缘、纹理、角点这类局部模式，用小小的卷积核就能抓住。

可将其想象成"特征探测器"在图上到处扫：某个核专门找竖边，另一个专门找圆弧……

image-20261005165127669

卷积之后常接一个池化层（Pooling），如最大池化：在每个小区域取最大值。作用是下采样——减少数据量、降低计算，同时保留最主要的特征（"这有一道竖边"比"这 4 个像素分别取值 0.9/0.8/0.7/0.85"更关键）。

卷积神经网络（CNN） = 卷积层 + 池化层 + （末端）全连接层，逐层堆叠：

输入图片 → [卷积 → 激活 → 池化] × N → 全连接 → 输出（分类/检测…）

越靠后的卷积层，提取的特征越抽象（从边缘 → 纹理 → 部件 → 整体物体）。

image-20261005165157730

二、让网络读懂话：从词嵌入到 RNN

CNN 解决了图像，但语言是另一回事——词是离散符号，句子是先后有序的序列。这一节说明：词如何变成数字，以及 RNN 如何带上"记忆"去处理序列。

最直白的编码是 One-hot（独热）：词表里第 k 个词，用一个第 k 位为 1、其余全 0 的向量表示。

它的问题很明显：

  • 维度极高：词表有多大，向量就有多长（几万、几十万维）；
  • 极度稀疏：每个向量只有一个 1，其余全是 0；
  • 词与词毫无关系："猫"和"狗"的向量正交，模型看不出语义相近。

也就是说，One-hot 只解决了"能表示"，没解决"能理解"。

image-20261005165443306

词嵌入（Word Embedding） 换了个思路：把每个词映射到一个低维、稠密的向量（例如 300 维）。关键好处是——语义相近的词，向量也相近。

image-20261005165549430

如何衡量相近？用两个向量的点积或余弦相似度："猫"和"虎"的向量点积大（夹角小），"猫"和"石头"的点积小。所有词向量拼在一起，即嵌入矩阵。

image-20261005165628424

这一步意义重大：语言第一次有了"几何结构"，模型可基于距离做推理（类比、聚类、检索均建立其上）。

图片没有顺序，但语言有。处理序列需要网络记住"前面说过什么"，循环神经网络（RNN） 即为此而生：

image-20261005165954574

  • 它有一个隐藏状态（hidden state） 在时间点之间传递，相当于"记忆"；
  • 当前时刻的输出，不只看当前输入，还依赖上一步的隐藏状态；
  • 于是模型能捕捉"昨天""因为""所以"这类跨位置的时序关系。

image-20261005170007258

RNN 有两个绕不开的缺陷：

  1. 顺序计算，不能并行：必须一个词一个词往后算，第 t 步依赖第 t−1 步。面对现代海量语料与超大模型，这种串行效率极低，GPU 的并行能力被白白浪费。
  2. 长期依赖难捕捉：信息在循环里一层层传，隔得越远越容易衰减（梯度消失），读到长句末尾时，早已忘记开头的"法国"。

这两个痛点是 Transformer 出现的直接动因。

小结

  • 全连接处理图片：参数规模爆炸且丢失空间结构；卷积核滑动提取局部特征、参数共享以大幅减少参数量；池化下采样保留主特征。CNN = 卷积 + 池化 + 全连接堆叠。
  • 编码：One-hot（高维稀疏、无关联）→ 词嵌入（低维稠密、语义相近则向量相近），以点积/余弦相似度衡量相关性，全体构成嵌入矩阵。
  • RNN 借隐藏状态携带历史信息，能处理序列；但其两大缺陷——必须串行（无法并行）+ 长距离依赖难捕捉（梯度消失）——直接催生了 Transformer。

参考：B 站 BV1NCgVzoEG9《【闪客】一小时从函数到 Transformer》。本文根据该系列第 4–5 节内容整理，配图来自原视频笔记。

posted @ 2026-10-05 20:42  xsec  阅读(9)  评论(0)    收藏  举报