Loading

【大模型Wiki】14 · 多模态大模型

多模态大模型：从"外挂视觉"到"原生全模态"

大模型 Wiki · 补充篇 12 ｜ 2026-09 整理

一、三代技术路线

代际 思路 代表 问题
第一代：外挂 视觉编码器 + 投影层接 LLM LLaVA、早期 Qwen-VL 模态对齐浅，OCR/细粒度弱
第二代：统一多模态 多模态数据参与预训练 GPT-4o、Gemini 1.5/2/3、Qwen2.5-VL 理解强，生成仍靠外挂
第三代：原生全模态（any-to-any） 单一 Transformer 处理并生成文本/图像/音频/视频 GPT-4o 实时语音、Gemini 3 全模态、Gemini Diffusion 思路、扩散语言模型探索 2025–2026 主战场

关键转变：早期是"给 LLM 装眼睛"，现在是所有模态 token 化后在同一个模型里统一建模，理解与生成一体。

1.1 为什么需要"统一建模"

单模态 LLM 只能处理离散文本 token，而人类认知天然是多通道的——我们看到一张图，脑中同时浮现语义、文字、空间关系甚至声音。让模型具备"看"的能力，最初的办法非常朴素：

  1. 用一个预训练好的视觉模型把图片变成一串向量；
  2. 用一个线性层或 MLP 把向量"翻译"成 LLM 能懂的"视觉 token"；
  3. 把视觉 token 拼到文本 token 前面，一起送进 LLM 续写。

这就是第一代"外挂视觉"的本质。它便宜、好做，但瓶颈明显：视觉只是被"贴"在文本前面，模型并没有真正在预训练阶段学会图文之间的细粒度对齐，于是面对 OCR、图表、长图、多图推理时常常翻车。

第二代把多模态数据（图文对、视频字幕、交错文档）真正参与进预训练，让模型在海量参数里学到跨模态关联，理解能力大幅提升。但生成侧（出图、出视频）通常还是外接扩散模型，不是同一个权重。

第三代的目标最激进：一个模型既能理解、也能生成任意模态。文本、图像、音频、视频全部 token 化，进同一个 Transformer，出同一个 Transformer。这意味着推理、对齐、生成在同一个表示空间里完成，是 2025–2026 年的核心主战场。

1.2 一条贯穿全文的主线：表示空间（Representation Space）

理解多模态，最关键的概念是"表示空间"。所谓多模态，技术上都绕不开一件事——把不同模态的信号映射到同一个可以计算的向量空间里，在那里完成对齐、融合与生成。

  • CLIP 把"图"和"文"拉到同一个空间（对比学习）；
  • ViT 把"图"切成 patch 变成序列，像文本一样喂给 Transformer；
  • LLaVA 把"图的特征"投影成"LLM 看得懂的 token"，塞进文本序列；
  • 全模态模型则进一步把音频、视频、动作都 token 化，统一在一个空间里。

后面的每一节，都是在讲"这个映射/对齐/生成是怎么做的"。

二、核心技术组件

2.1 视觉侧

  • ViT 编码器 + 适配器：SigLIP、CLIP 系编码器，经 Q-Former 或 MLP 投影进 LLM。
  • 原生分辨率/动态分块：Qwen-VL 系支持任意分辨率切块，解决 OCR 与长图问题。
  • 视频：时间维度的 token 化 + 长视频检索（Gemini 1.5 起支持小时级视频）。

2.1.1 CLIP：双塔对比学习原理（一切的起点）

2021 年 OpenAI 的 CLIP（Contrastive Language–Image Pre-training）是多模态的奠基工作。它回答了一个根本问题：怎么让"猫的图片"和"cat"这个词在向量空间里靠近？

核心思路是"双塔（two-tower / dual-encoder）对比学习"：

  • 图像塔（Image Encoder）：一个 ViT 或 ResNet，把图片编码成向量 I；
  • 文本塔（Text Encoder）：一个 Transformer，把文本描述编码成向量 T；
  • 两个塔各自输出后，分别做 L2 归一化，得到单位向量；
  • 用 点积 / 余弦相似度 衡量图文匹配程度：score = I · T。

训练数据来自互联网上爬取的 4 亿个"图片—文本"对（(image, caption) 对）。每个 batch 有 N 对，就得到 N 张图和 N 段文。CLIP 构造一个 N×N 的相似度矩阵：

          文本1  文本2  文本3  …  文本N
图片1    [ ✓     ✗     ✗   …   ✗  ]
图片2    [ ✗     ✓     ✗   …   ✗  ]     对角线是"正样本对"（真正配对）
图片3    [ ✗     ✗     ✓   …   ✗  ]     非对角线是"负样本对"
…        [                          ]
图片N    [ ✗     ✗     ✗   …   ✓  ]
  • 对角线上：图片 i 和它的真实描述 文本 i 是正样本（positive），希望相似度尽量高；
  • 非对角线：图片 i 和文本 j（j≠i）是负样本（negative），希望相似度尽量低。

损失函数是对称的 InfoNCE（对比损失）：对每一行求交叉熵（把正样本当成正确类别），再对每一列求一次，取平均。伪代码：

import torch
import torch.nn.functional as F

def clip_loss(image_emb, text_emb, temperature=0.07):
    # image_emb / text_emb: [N, D] 已 L2 归一化
    logits = (image_emb @ text_emb.t()) / temperature   # [N, N] 相似度矩阵
    labels = torch.arange(len(image_emb))               # 对角线索引 0,1,2,...,N-1
    # 两个方向各算一次交叉熵，再平均
    loss_i = F.cross_entropy(logits, labels)             # 以图为锚，找正确文本
    loss_t = F.cross_entropy(logits.t(), labels)         # 以文为锚，找正确图片
    return (loss_i + loss_t) / 2

CLIP 的"魔法"在于：它是zero-shot 的。因为文本塔见过海量自然语言，推理时你只要把任意分类标签写成 "a photo of a {class}" 的句式，丢进文本塔，再和图片向量比对，就能做没见过的分类任务。这直接启发了后来的 视觉-语言对齐范式——几乎所有多模态 LLM 都用 CLIP（或其变体 SigLIP）当作视觉编码器，因为它产出的图像特征天然和文本在同一个语义空间里。

补充：SigLIP 用 "sigmoid + pairwise binary loss" 替代 softmax 对比损失，对大规模、噪声数据更鲁棒，是 2024 年后开源多模态模型（如 LLaVA-OneVision、Qwen2.5-VL 早期）常用的编码器底座。

2.1.2 ViT：把图片当"句子"读

Vision Transformer（ViT）是当今多模态视觉编码器的绝对主流。它把 CNN 那套"卷积-池化"彻底换成 Transformer。

原理拆解：

  1. 分块（Patch Embedding）：把一张 H×W×3 的图片切成 P×P 的小方块，例如 224×224 的图切成 16×16 的 patch，得到 (224/16)×(224/16) = 14×14 = 196 个 patch。每个 patch 展平成一个向量，像"图像世界的 token"。
  2. 加位置编码：给每个 patch 加上可学习的位置 embedding，保留空间信息（否则 Transformer 不知道哪个 patch 在上、哪个在左）。
  3. CLS Token：像 BERT 一样在最前面加一个特殊 [CLS] token，它最终汇聚整张图的全局信息，用于分类/对齐。
  4. Transformer Encoder：一堆 Self-Attention + MLP 层，让所有 patch 互相"看"，建模全局依赖。
图片 (224×224×3)
   │  切成 16×16 的 patch
   ▼
196 个 patch → 每个展平 → 线性投影成 D 维向量
   │  拼接 [CLS] + 位置编码
   ▼
[CLS] p1 p2 ... p196   ← 一个"视觉句子"
   │
   ▼
Transformer Encoder（L 层 self-attention）
   │
   ▼
每个 patch 一个 D 维特征向量（或只取 [CLS]）

为什么多模态偏爱 ViT？因为它和 LLM 同属 Transformer 架构，序列进、序列出，天然能和文本 token 拼接、对齐、一起进 LLM。CNN 输出的是空间特征图，不如 ViT 的"token 序列"好接。

不同模型用的 ViT 规格不同：SigLIP-Large (336px)、SigLIP-So400m (384px)、EVA-CLIP、InternViT 等。分辨率越高、参量越大，细粒度（OCR、图表）能力越强。

2.1.3 适配器（Adapter）：视觉特征 → LLM 能懂的 token

ViT 输出的特征维度和 LLM 的词嵌入维度通常不一致，且"视觉语义"和"语言语义"有分布差异。需要一个适配器/投影层（Projector） 把视觉特征映射成和文本 token 同构的向量序列。主流有三种方案（见 2.1.4）。

2.1.4 原生分辨率与动态分块（Native Resolution / Dynamic Tiling）

早期 LLaVA 把图片强行 resize 到固定 224/336，遇到长图、表格、文档会严重失真、看不清字。

Qwen-VL 系（以及后来的 Qwen2.5-VL）引入动态分块（dynamic tiling）：

  • 图片按原始宽高比，切成若干固定大小的子图（tile），比如 2×2、3×1；
  • 每个 tile 独立过 ViT，得到各自的视觉 token；
  • 再拼回序列，并附带"这是第几块、在原图什么位置"的位置信息（通常是 2D 位置编码或特殊标记）；
  • 同时保留一张下采样缩略图（thumb），让模型先有全局印象。
原始长图（例如 1024×2048）
   │  按宽高比切成 2 列 × 4 行 = 8 个 tile
   ▼
[tile1][tile2]
[tile3][tile4]
[tile5][tile6]
[tile7][tile8]
   │  每个 tile 各自过 ViT → 视觉 token
   │  + 一张缩小全局图 thumb
   ▼
序列: [thumb_tokens] [tile1_tokens][pos1] [tile2_tokens][pos2] ...

好处是：OCR、表格、长文档、细粒度定位（bounding box）能力大幅跃升，因为模型能看到"原分辨率"的细节，而不是被压扁。这是 Qwen-VL 系列在企业文档场景（发票、合同、表单）强悍的关键。

2.2 生成侧

  • 扩散模型仍是图像/视频生成主流：Stable Diffusion 3.5、FLUX、Sora/Veo 系视频。
  • 自回归统一生成：像生成文本 token 一样生成视觉 token（Emu3、Chameleon 路线），以及扩散语言模型（LLaDA-MoE 等，并行生成、按需思考）在 2025 年崭露头角。

2.2.1 扩散模型（Diffusion）基础

图像/视频生成目前仍以扩散模型为主。直觉：从一张纯噪声图出发，训练一个神经网络（通常是 U-Net 或 DiT，Diffusion Transformer）一步步"去噪"，最终得到清晰图像。训练目标简单而优雅——预测每一步加上的噪声：

# 简化的扩散训练伪代码（DDPM 风格）
def diffusion_loss(model, x0, noise_scheduler):
    noise = torch.randn_like(x0)              # 采样纯高斯噪声
    t = torch.randint(0, T, (1,))             # 随机时间步
    xt = noise_scheduler.add_noise(x0, noise, t)   # 给原图加噪得到 xt
    pred_noise = model(xt, t, cond)           # 模型预测噪声（cond 为文本/图像条件）
    return F.mse_loss(pred_noise, noise)       # 预测噪声越准越好

文本到图像（T2I）靠的是在每一步去噪时注入文本条件（cross-attention 把 CLIP/text-encoder 文本向量拼进来），让生成内容受控于提示词。Stable Diffusion 3.5、FLUX 是开源主力；Sora、Veo 系则把这套思路推广到视频（在时空维度上联合去噪）。

2.2.2 自回归统一生成（Autoregressive any-to-any）

另一条路线是"像写文字一样画图画视频"：把图像也离散化成 visual token（用 VQ-VAE / 码本），然后和文本 token 共用一个词表，统一用 next-token prediction 训练。代表：

  • Emu3（智源）：统一处理文本/图像/视频的生成与理解，一个 Transformer 走天下；
  • Chameleon（Meta）：早期混合模态预训练探索；
  • Show-o、Janus 等：把"理解"和"生成"解耦成两个不同的 head，但共享 backbone。

优点是架构统一、能自然做图文交错生成；缺点是离散视觉 token 重建质量一度不如连续扩散。2025 年出现 扩散语言模型（Diffusion LM） 的新探索（如 LLaDA 系列），用"掩码扩散"方式并行生成、可"按需思考"，试图兼具自回归的连贯与扩散的并行效率。

2.3 音频与实时交互

GPT-4o 引爆的实时语音模式 → 2026 年标配：语音进语音出、平均延迟 < 500ms、可打断、副语言理解（语气/情绪/背景音）。

核心变化：传统 pipeline 是 ASR（语音→文本）→ LLM（文本推理）→ TTS（文本→语音），链路长、丢副语言（语气、停顿、情绪）。GPT-4o 代表的新范式是端到端语音：音频直接编码进统一模型，模型直接输出音频 token 再合成语音，副语言（笑、犹豫、情绪）被保留，且支持随时打断、低延迟全双工对话。

三、图文对齐的关键：投影层方案（Flamingo / LLaVA）

光有 ViT 和 LLM 还不够，怎么把两者"接起来"决定了模型能力的上限。下面看两个里程碑方案。

3.1 Flamingo（DeepMind, 2022）：跨注意力 + 小样本

Flamingo 的核心贡献是：冻结（freeze）预训练好的视觉编码器和 LLM，只训练少量"粘合"模块，从而用极少量图文数据就能学会多模态，且天然支持少样本（in-context）学习。

它引入两个关键模块：

  1. Perceiver Resampler（感知重采样器）：用一组可学习的 latent query，对 ViT 输出的大量图像特征做交叉注意力，压缩成固定数量（如 64 个）的"视觉 token"，无论原图多大都压到固定长度，节省 LLM 上下文。
  2. GATED Cross-Attention（门控交叉注意力）：在 LLM 的每一层 Transformer block 里，插入新的交叉注意力层，让文本 token 去"看"视觉 token。门控系数 γ 初始化为 0，意味着训练开始时这些新层不起作用，模型先保持原 LLM 能力，再平滑地学习图文融合——这是 Flamingo 能稳定训练、不破坏原语言能力的诀窍。
文本 token 序列  ──► LLM 各层
                        │ 新增的 GATED Cross-Attention
                        ▼
                 视觉 token（Perceiver 压缩后）

Flamingo 支持图文交错（interleaved） 输入（图文图文…混合），并能仅凭几个示例（few-shot）完成新任务，是"不重新训练大模型也能多模态化"的开山之作。

3.2 LLaVA（2023）：MLP 投影 + 指令微调，极简可复现

LLaVA（Large Language-and-Vision Assistant）走了一条更"平民"的路线，但影响巨大：

  • 视觉编码器：CLIP ViT-L/14；
  • 投影层：一个最简单的 线性层 / 两层 MLP，把 ViT 输出维度对齐到 LLM 词嵌入维度；
  • LLM：Vicuna（基于 Llama）；
  • 训练两阶段：
    1. 特征对齐预训练：用 595K 图文对，只训练投影层（编码器、LLM 都冻结），让视觉 token 学会"说 LLM 的语言"；
    2. 指令微调：解冻 LLM，用 GPT-4 生成的 158K 多模态对话数据做端到端微调，学会遵循指令对话。

LLaVA 的简洁设计（CLIP + 一个 MLP + Vicuna）让整个学术界能低成本复现，直接引爆了开源多模态 LLM 的繁荣。后续 LLaVA-1.5、LLaVA-NeXT、LLaVA-OneVision 逐步加动态分辨率、更强编码器、更强 LLM。

3.3 投影层方案对比小结

方案 视觉特征处理 与 LLM 连接方式 训练策略 代表
Linear/MLP 投影 ViT 直接输出，少量压缩 序列拼接进 LLM 两阶段（冻结→微调） LLaVA 系
Q-Former（BLIP-2） 用 query 交叉注意力压缩成固定 token 序列拼接 两阶段，query 可学习 BLIP-2、InstructBLIP、MiniGPT-4
Perceiver + Gated X-Attn 重采样压缩 + 每层交叉注意力 插入 LLM 各层 冻结主干，只训粘合层 Flamingo
动态分块 + MLP 多 tile + 位置信息 序列拼接 大规模多阶段 Qwen-VL 系

Q-Former 补充：BLIP-2 的 Q-Former 是一个轻量 Transformer，用一组可学习 query 通过交叉注意力从 ViT 提取"最有用"的视觉特征，再线性投影进 LLM。它比直接 MLP 多了"信息瓶颈"，能过滤冗余视觉信息，适合参数较小的场景。

四、主流模型能力对比：Qwen-VL / GPT-4V / Gemini

4.1 三方定位（截至 2024–2025 公开能力）

维度 GPT-4V / GPT-4o 系（OpenAI） Gemini 系（Google） Qwen-VL 系（阿里）
模态 图文（4o 含实时音视频） 原生多模态，含长视频 图文为主，逐步扩音频/视频
长上下文/长视频 上下文约 128K 1.5 起支持百万 token、小时级视频 文档/长图强，视频持续补齐
OCR / 文档 强 强 极强（动态分块，中文文档标杆）
实时语音 4o 原生，可打断 有实时版 逐步补齐
开源/闭源 闭源 API 闭源 API 开源权重可私有部署
中文与本地化 一般 一般 优（中文场景、私有化首选）

4.2 怎么选（落地视角）

  • 闭源通用图文理解：追求最强综合能力、实时交互选 GPT-4o / Gemini；英文场景居多时差距小。
  • 中文文档 / 私有化部署：Qwen-VL 系（及新一代 Qwen 多模态）是开源里的中文/OCR/表单标杆，可本地部署、数据不出域。
  • 长视频 / 超长文档：Gemini 的长上下文有结构性优势。
  • 开源可改：除 Qwen-VL，InternVL 系列也是强开源选项，社区生态活跃。

提示：型号与版本迭代极快，具体 benchmark 数字请以各官方最新发布页为准，本文不罗列会快速过时的分数。

五、训练范式：图文交错三阶段流程

要把一个纯文本 LLM 变成多模态 LLM，业界（LLaVA、Qwen-VL、InternVL 等）普遍采用三阶段训练。这是实践上最稳的套路。

阶段一：特征对齐预训练（Alignment Pre-training）

  • 冻结视觉编码器和 LLM，只训练投影层/适配器；
  • 数据：大规模"图文对"（image-caption），如 LAION、CC3M/12M、内部爬取；
  • 目标：让视觉 token 进入 LLM 时已处于文本表示空间，LLM 能"读得懂"图片特征；
  • 数据量最大、计算最便宜，是打地基的一步。
# 阶段一伪代码：只训 projector
vision_encoder.requires_grad_(False)   # 冻结 ViT
llm.requires_grad_(False)              # 冻结 LLM
projector.train()                      # 只训投影层

for image, text in image_text_pairs:
    v = vision_encoder(image)                 # [N, D_v]
    v_tokens = projector(v)                   # [N, D_llm]  对齐到 LLM 维度
    inputs = concat(text_tokens, v_tokens)    # 图文拼成一条序列
    loss = llm.language_modeling_loss(inputs) # 标准 next-token 损失
    loss.backward(); optimizer.step()

阶段二：多模态指令微调（Instruction Tuning / SFT）

  • 解冻 LLM（部分或全部），用"多模态对话/指令"数据端到端微调；
  • 数据：问答对、对话、OCR、图表理解、视觉推理，往往用强模型（GPT-4）蒸馏生成；
  • 目标：让模型学会"看图回答问题、执行指令"；
  • 这一步决定模型的"懂事程度"和指令遵循能力。

阶段三：多模态对齐/偏好与人类反馈（RLHF / DPO 类）

  • 用人类偏好数据（哪条回答更好）做对齐，类似文本 LLM 的 RLHF/DPO；
  • 也可加入"拒绝采样 + 微调"等低成本对齐；
  • 目标：减少幻觉、提升安全性与有用性。

三阶段要点图解

阶段一（对齐） ──► 阶段二（指令微调） ──► 阶段三（偏好对齐）
 冻结 ViT+LLM        解冻 LLM                 偏好/RLHF
 只训 projector       多模态 SFT 数据          减少幻觉
 海量图文对          对话/QA/推理             提升有用安全

图文交错（Interleaved）数据贯穿二三阶段：数据里图文是穿插出现的（一段文字配一张图、再一段文字配另一张图），训练模型理解"多图多文"的复杂上下文关系，这是后续做多图推理、文档理解、GUI 操作的基础。

实践踩坑

  • 投影层训练不充分：阶段一跑太少，模型"看不清"图，后面怎么微调都救不回来——宁可多训阶段一。
  • 灾难性遗忘：阶段二解冻 LLM 后语言能力暴跌。对策：保留一定比例纯文本数据混合训练（通常 10%–30%），或采用 LoRA 等参数高效微调。
  • 数据质量 > 数量：指令数据的多样性、标注准确性比单纯堆量更影响最终效果。
  • 分辨率陷阱：固定低分辨率训练，推理时给高分辨率图会错位；用动态分块才能根治。

六、视频理解与生成概述

6.1 视频理解（看视频、答问题）

核心难点是时间维度：一张图变一摞图（帧），token 量随帧数线性爆炸。主流做法：

  1. 帧采样（Frame Sampling）：均匀或关键帧采样，控制总帧数；
  2. 每帧过 ViT → 视觉 token；
  3. 时序建模：
    • 简单拼接：把各帧 token 直接拼成长序列，靠 LLM 自己学时序（token 太多）；
    • 时序压缩：用 3D 卷积 / 时序注意力 / 池化把相邻帧合并，减少 token；
    • 长视频检索（Gemini 1.5 思路）：先对超长视频建"可检索记忆"，模型按需定位相关片段，避免一次性塞进上下文。

典型任务：Video-MME、视频问答、长视频摘要、视频中的事件定位。

6.2 视频生成（生成视频）

主流是扩散模型 + 时空联合去噪：

  • 把视频看成"多帧图像在时间和空间上一起加噪/去噪"；
  • 模型（如 DiT 架构的 Sora、Veo 系）学会了物理一致性与音画同步；
  • 2025 起分水岭是音画同步、物理一致性、长时长连贯：早期生成短视频"抽卡"，新一代主打更长、更稳、带声音。

6.3 落地现实

  • 视频理解：已能在企业做"会议录像摘要、监控事件检索、教学视频问答"，但仍受上下文/成本约束；
  • 视频生成：仍是"抽卡"工作流——一次生成多版本人工挑选是常态，离"一句话出成片"还有距离。

七、2025–2026 多模态基准格局

  • 图像理解：MMMU、MathVista（图表/几何推理）——头部模型 90%+ 已接近饱和，焦点转向"精修"。
  • 视频理解：Video-MME、长视频问答。
  • 图像生成：从拼提示词转向指令遵循 + 文字渲染准确率（FLUX、GPT-image 系）。
  • 视频生成：Sora 2、Veo 3.x，音画同步、物理一致性成为分水岭。
  • GUI Agent 感知：屏幕截图理解（OSWorld 等）把多模态和 Agent 打通——这是 GPT-6 Astra 主打"电脑操作 72.6%"的感知基础。

7.1 怎么读 benchmark（避坑）

  • 饱和度陷阱：MMMU 等头部模型已 90%+，再高几个点未必在真实任务上可感知；关注"长尾、细粒度、对抗样本"更实在。
  • 榜单≠你的场景：通用榜第一，未必在"你那类发票/你那类工业图"上最强，务必做领域小评测。
  • 生成类难量化：图像/视频生成多用人工偏好 + 指令遵循率评估，数字参考即可，主观验收更重要。

八、多模态与 Agent 的合流

2026 年最重要的趋势：多模态不再是独立赛道，而是 Agent 的输入输出通道。

  • Computer Use / 浏览器操作：模型看屏幕 → 规划 → 点按/输入 → 验证结果
  • 具身智能：多模态 VLA（Vision-Language-Action）模型驱动机器人
  • 文档智能：发票/合同/表单结构化抽取成为企业落地最成熟场景

8.1 VLA：Vision-Language-Action

具身智能的关键范式是 VLA——把"看到的图像、听懂的语言指令"映射成"机器人动作 token"。模型在统一的表示空间里完成"感知→推理→动作"，是 robotics foundation model 的主线。多模态 LLM 在这里从"会聊天的脑子"变成"能动手的本体"。

8.2 GUI Agent（Computer Use）

模型把屏幕截图当输入，预测"点哪、输什么"，执行后看新截图再决策，形成闭环。这把多模态理解和 Agent 循环合二为一，是 2025–2026 各家（Claude Computer Use、GPT 系、Gemini 系、Qwen 系）重点押注的方向。

九、实践建议

  1. 选型：通用图文理解闭源选 GPT-6/Gemini 3/Claude 系；开源部署选 Qwen3-VL 系（文档/OCR 强）或 InternVL。
  2. RAG 多模态化：文档先解析为"文本 + 版面 + 图表描述"再入库，效果远好于纯 OCR。
  3. 成本：视觉 token 比文本贵数倍，图片预处理（裁剪/压缩/限制分辨率）直接影响账单。
  4. 视频生成目前仍是"抽卡"：一次生成多版本人工挑选是常态工作流。

9.1 工程落地清单（可直接照抄）

  • 图片预处理：统一限制最长边（如 1280/2048）、按需动态分块、去除无关水印，显著降低 token 成本与幻觉；
  • 多模态 RAG 管线：
PDF/扫描件 → 版面分析（分栏/表格/图注）
   → 文本块 OCR + 表格结构化 + 图像/图表送 VLM 出描述
   → 切块 + embedding 入库（文本与图描述同向量空间）
   → 用户提问 → 检索 → 拼回"文本 + 图描述 + 原图引用"喂给多模态 LLM
  • 评测闭环：每换模型/提示词，跑一遍你自己的 50–100 条领域样本，看准确率与成本，别只看公开榜。
  • 降级策略：VLM 太贵时，先用 OCR + 小模型分类做粗筛，VLM 只处理"真需要理解"的少数样本。

十、小结

多模态大模型的发展主线，是从"给 LLM 装眼睛"（外挂视觉），走向"所有模态在同一 Transformer 里统一 token 化建模"（原生全模态）。支撑这条线的关键技术依次是：CLIP 的对比对齐、ViT 的图→序列、投影层（MLP/Q-Former/Perceiver）的视觉→语言桥接、三阶段训练的稳定范式，以及动态分辨率对细粒度的拯救。

当前事实判断：

  • 理解侧已相当成熟，头部模型在主流基准接近饱和，竞争转向细粒度、长尾与领域落地；
  • 生成侧仍是扩散模型主场，自回归/扩散语言模型在探索统一路径；
  • 音视频实时成为标配能力；
  • 与 Agent 合流（GUI、具身、文档智能）才是 2026 年最大的价值出口。

对工程师而言，多模态的胜负手不在"训练一个大模型"，而在选对基座、管好分辨率与成本、把多模态接入 RAG 与 Agent 闭环。理解本文的表示空间主线，就能在快速迭代的模型潮里不被版本号牵着走。

posted @ 2026-09-19 05:44  Stellan7  阅读(22)  评论(0)    收藏  举报