大三下 模式识别与计算机视觉期末大作业综述 面向视觉的多模态大语言模型：从识别引擎到有依据的视觉推理系统 20260630

作者：陆舟Landboat

摘要

多模态大语言模型（Multimodal Large Language Models, MLLMs）已经改变了计算机视觉的交互方式与研究问题。现代视觉—语言模型不再只是返回固定的类别标签、边界框或掩码，而是能够回答开放式问题、比较图像、读取截图、解释图表，有时还能够调用外部工具。本文综述了面向视觉的 MLLM 的发展脉络，从对比式图文预训练，到冻结骨干网络的桥接方法、视觉指令微调、高分辨率视觉 grounding、原生多模态预训练，以及长上下文视频和文档系统。本文围绕一个实践性问题组织文献：什么样的视觉证据真正进入了语言模型？这些证据在被转换为 token 之后，还有多少空间信息仍然可以被检查？ 这一视角能够解释 MLLM 在 VQA、OCR、文档理解、grounding 和多图像推理上的快速进展，也能解释其在幻觉、计数、空间关系和 benchmark 可靠性方面持续存在的弱点。本文的主要结论是，下一阶段的视觉 MLLM 不应主要以回答是否流畅来评价，而应更多以“视觉可问责性”来评价：即模型是否能够指出证据、保留空间结构、区分感知与推理、在必要时使用专门工具，并在图像不足以支持确定答案时承认不确定性。

1. 引言

在很长一段时间里，计算机视觉的进展主要通过任务特定的数字来报告：ImageNet 上的 top-1 准确率、COCO 上的 AP、分割任务中的 mIoU，或图文匹配中的检索召回率。这些指标仍然有用，但它们已经无法充分描述人们如今期望与视觉系统交互的方式。用户可能会问一个场景为什么不安全，一张图表是否支持某个论断，两帧图像之间发生了什么变化，哪个物体应该被分割，或者如何操作屏幕上显示的设备。这种变化不仅是交互界面的变化。它改变了视觉计算的基本单位：从封闭式预测转向由语言控制的交互。

在本文中，MLLM 被定义为这样一类模型：它们接受视觉输入与语言指令，以大语言模型或类似语言解码器的模块作为核心推理与生成组件，并输出语言或类似语言的结构化预测。这个定义包括视觉聊天助手、图像到文本系统、文档和 UI 智能体、区域感知的视觉语言模型，以及将边界框、点、掩码或动作表达为 token 的模型。本文有意聚焦这些系统中的计算机视觉侧面：文本生成被视为指定、组合和检查感知过程的接口，而不是感知本身的替代品。

理解近期进展的一种方式，是把它看作一系列越来越复杂的“桥接”。CLIP [1] 和 ALIGN [2] 表明，自然语言可以在网络规模上监督视觉表示。CoCa [3]、OFA [4] 和 PaLI [5] 则进一步走向生成式或统一序列接口。Flamingo [7]、BLIP-2 [8] 和 Kosmos-1 [9] 表明，强大的冻结视觉模型与冻结语言模型可以被连接起来，而不必从头训练整个系统。LLaVA [10]、MiniGPT-4 [11]、InstructBLIP [12] 和 mPLUG-Owl [13,14] 将这一思路转化为开放式视觉指令跟随。随后，Qwen-VL [16]、CogVLM [17]、InternVL [18]、MM1 [19]、Cambrian-1 [20]、LLaVA-OneVision [21]、Qwen2.5-VL [22]、InternVL3 [23]、InternVL3.5 [24]、Qwen3-VL [25]、LLaVA-OneVision-2 [26]，以及 Gemini [49] 等专有前沿系统，将研究前沿推进到高分辨率感知、OCR、文档解析、grounding、视频、长上下文和智能体式使用。

本文采用一种以证据为中心的视角。在语言模型能够对图像进行推理之前，视觉证据必须被编码、选择、压缩或序列化为 token。当这一过程丢失小文本、局部几何结构或时间顺序时，解码器仍然可能对已经不存在于输入表示中的细节生成流畅句子。这有助于解释为什么同一个模型可能在整体图像理解上表现很强，却仍然在精确计数、左右关系、物体是否存在或细小 OCR 上失败。因此，一篇有用的该领域综述不应只问模型说了什么，还应追问模型实际上能够使用什么视觉信息。

由此呈现出的图景，是从“语言优先的视觉聊天”转向“具有视觉可问责性的多模态推理”。早期 MLLM 往往依赖一个强大的 LLM 加上对全局图像特征的紧凑投影。这种设计出人意料地有效，但也产生了一个盲点：语言流畅性可能掩盖较弱的视觉感知能力。近期工作从三个方向回应这一问题。第一，增加视觉分辨率和视觉 token 预算。第二，加入区域、边界框、掩码、OCR、文档和视频监督。第三，发展能够区分感知、知识、推理、grounding 和幻觉的 benchmark。这些变化表明，未来的视觉 MLLM 不太可能简单地取代传统视觉模块。更可能的情况是，它们通过共同的语言接口来协调和调度这些模块。

2. 范围与分类

对面向视觉的 MLLM 进行有效分类，可以从四个维度展开：架构、训练阶段、视觉粒度和评价目标。这些维度并非彼此独立，但将它们区分开来，可以避免一个常见错误：把所有 benchmark 分数都当作多模态智能的单一衡量。相同的综合分数可能来自非常不同的系统：一个系统可能保留密集空间线索，另一个系统则可能主要依赖强语言先验和粗略的图像摘要。

架构。 大多数系统包含视觉编码器、连接器和语言骨干网络。编码器可以是 CLIP、SigLIP、EVA、InternViT 风格的图像编码器，也可以是面向检测的编码器、文档感知的视觉 Transformer 或视频编码器。连接器可以是线性投影、MLP、Q-Former、Perceiver resampler、交叉注意力模块、空间聚合器或更深的视觉专家模块。这些选择不仅决定参数效率，也决定哪些视觉细节能够从像素过渡到 token。语言组件通常是 decoder-only LLM，不过 OFA、PaLI 和 Florence-2 等 encoder-decoder 模型仍然重要，因为它们天然适合将任务输出表达为序列 [4,5,27]。

训练阶段。 常见流程包括三个阶段：图文对齐预训练、多模态指令微调，以及偏好优化或强化学习式后训练。近期系统使这一阶段划分变得更加复杂。InternVL3 主张原生多模态预训练，使语言能力和多模态能力共同获得，而不是事后接到一个纯文本 LLM 上 [23]。Qwen2.5-VL 和 Qwen3-VL 也强调动态分辨率、长上下文多模态处理，以及面向视频和文档的训练 [22,25]。

视觉粒度。 图像级 MLLM 回答关于整张图像的问题。区域级系统使用边界框或指代表达，例如 Qwen-VL、GPT4RoI 和类似 Grounding DINO 的检测方法 [16,30,31]。掩码级系统将 MLLM 与分割连接起来，例如 LISA 和受 SAM 启发的流水线 [29,32]。多图像和视频系统则进一步加入时间记忆、帧采样或类似 codec 的 token 化。粒度之所以重要，是因为许多失败是局部性的：模型能够识别出厨房，却可能错过电器上的小警告标签。

评价目标。 一些 benchmark 测试感知能力，例如物体存在性、OCR 或空间关系。另一些测试推理能力，例如科学图示、数学图像、图表和专业考试。还有一些测试可靠性：幻觉、对选项顺序的鲁棒性、数据污染，或者模型是否真正使用了图像。成熟的评价体系应当把这些目标分开。否则，一个高分可能掩盖模型到底是看见了图像、从语言先验中猜测，还是受益于答案选项。

3. 从图文预训练到 MLLM

CLIP 常被视为现代视觉—语言模型的起点，因为它为计算机视觉提供了一种可扩展的方式，使其能够从自然语言中学习，而无需手工枚举类别 [1]。它的目标是在大量负样本中匹配每张图像及其对应文本。其结果不仅是一个分类器，而是一个共享语义空间，在这个空间中，文本提示可以充当分类器。ALIGN 在更大规模的噪声数据上表达了类似观点：只要语料规模足够大，带噪声的 alt-text 仍然有用 [2]。SigLIP 后来用 sigmoid loss 替代全局 softmax 对比学习，提高了扩展灵活性 [6]。

这些模型并不是当前对话意义上的 MLLM，但它们是 MLLM 的基础设施。首先，它们的编码器成为许多开放 MLLM 默认的视觉前端。其次，它们确立了视觉类别可以由语言指定的思想。第三，它们暴露出一个后来 MLLM 也继承的局限。对比式全局 embedding 可以知道一张图像在语义上接近“a dog catching a frisbee”，但它可能没有保留足够结构来计数狗的数量、读取标志上的小字，或判断飞盘在狗的前方还是后方。

CoCa、OFA 和 PaLI 代表了从对比式表示学习到生成式视觉—语言建模之间的桥梁 [3-5]。它们将图文任务视为 captioning、序列建模或多语言生成。这很重要，因为许多视觉输出都可以被序列化：图像描述、答案、类别、坐标，有时还包括掩码。Florence-2 后来明确采用了这一观点，使用文本提示和类似文本的输出统一检测、grounding、分割、captioning 和 VQA 等任务 [27]。这一思路的吸引力是实践性的：模型不必为每个任务构建不同的 head，而是为任务和输出定义一个共同词汇表。其局限同样重要。空间结构可以被写成文本，但当输出必须精确时，几何精度会变得脆弱。

接下来的问题是如何将强视觉编码器与强 LLM 连接起来。Flamingo 引入了一种视觉语言模型，可以输入交错的图像、视频和文本，并使用 Perceiver 风格的 resampler 与插入冻结语言模型中的交叉注意力层 [7]。它的意义不仅在于架构。它表明，当模型在交错多模态数据上训练后，LLM 使用中的核心能力——few-shot prompting——也可以迁移到视觉任务。

BLIP-2 采用了更具参数效率的路线。它使用轻量级 Q-Former 连接冻结图像编码器和冻结 LLM，并采用两阶段策略：先学习图文表示对齐，再学习视觉到语言生成 [8]。这形成了一个重要设计模式：冻结昂贵组件，训练紧凑桥接模块，并依赖 LLM 的生成能力。MiniGPT-4 和许多后续系统进一步表明，即使是从视觉特征到 LLM embedding 的简单投影，在配合有能力的 LLM 时也能够激活丰富的视觉对话能力 [11]。

这种桥接范式解释了为什么开源 MLLM 在 2023 年发展如此迅速。研究者可以组合已有视觉编码器、已有 LLM 和可学习连接器，再用指令数据进行微调。然而，同样的模块化也带来了隐藏的脆弱性。如果视觉 token 太少或太全局，LLM 就会学会用语言先验补偿。答案可能听起来合理，但视觉基础却很弱。因此，早期 MLLM 与其说是完全通用的视觉推理器，不如说是强有力地证明了：即使视觉表示不完整，语言仍然可以控制视觉表示。

4. 视觉指令微调：有用的捷径及其代价

视觉指令微调是让 MLLM 看起来像通用助手的转折点。LLaVA 使用 GPT-4 生成的多模态指令数据，将 CLIP 视觉编码器连接到 Vicuna，产生了一个具有较强视觉聊天能力的开放模型 [10]。LLaVA-1.5 后来表明，一个简单的 MLP 连接器加上更好的公共 VQA 风格数据混合，就可以在多个 benchmark 上产生强基线 [15]。InstructBLIP 将 26 个公共数据集转换为指令格式，并加入一个指令感知的 Q-Former，以提取与用户查询相关的特征 [12]。mPLUG-Owl 探索了基础 LLM、视觉知识模块和视觉 abstractor 的模块化学习 [13]。mPLUG-Owl2 后续进一步强调视觉模块与语言模块之间的模态协作 [14]。

这一方案有效，是因为它一次性解决了若干实践错配。指令格式使训练更接近使用场景：模型学习回答自然问题，而不仅仅是生成 caption。LLM 提供对话能力、世界知识和类链式推理能力。公共数据和合成数据也使得大学实验室规模的系统复现变得可行。然而，指令微调并不能保证模型获得更多视觉证据。它改变了系统的接口行为，但它本身不会让被压缩的图像表示更可靠地看见小物体、文本或布局。

代价在于，指令微调可能教会模型回答习惯，而不是鲁棒感知。模型可能学习 benchmark 答案的风格、VQA 问题的常见模式，或多选项答案的分布。LVLM-eHub 已经观察到，指令微调模型可能在域内任务上表现良好，但在开放世界场景中泛化较差，并且存在幻觉问题 [37]。ShareGPT4V 认为，详细 caption 能够改善对齐，因为它们比短 caption 包含更丰富的物体属性、关系和世界知识 [33]。这个方向有价值，但也需要谨慎：详细 caption 只有在视觉上忠实时才有用。由更强模型生成的长 caption 也可能传递教师模型的盲点。

因此，数据来源不是一个记账细节，而是一个方法论问题。当一篇论文使用合成指令数据时，重要问题包括：哪个教师模型生成了这些数据，教师模型能看到什么图像信息，低质量样本如何被过滤，评估分布是否在训练集中被镜像。对于 MLLM 论文来说，数据流水线可能与架构图同样重要。

5. 架构：视觉从哪里进入语言

一个视觉 MLLM 可以被理解为三种压力之间的协商：保留视觉细节、适配 LLM 的 token 预算，以及保持训练和推理效率。因此，架构问题并不只是哪个连接器最好。更关键的是，所选编码器、连接器和输出空间是否保留了任务所需证据。表 1 总结了主要架构选择，以及在阅读相关性能提升时应考虑的注意事项。

早期开源 MLLM 经常使用 CLIP ViT 编码器，因为它们已经对齐了图像与语言语义。这很方便，但并不总是最适合密集视觉。CLIP 风格特征非常适合全局语义和检索，但 OCR、细粒度定位和小物体需要高分辨率特征。LLaVA-1.5 的改进部分来自使用更高分辨率的 CLIP-ViT-L-336 特征和更强连接器 [15]。InternVL 扩展了视觉基础模型，并将其与 LLM 对齐，认为视觉骨干网络的发展没有跟上语言骨干网络 [18]。Cambrian-1 则明确提出这个问题，通过评估多个视觉编码器，并引入 CV-Bench 来研究感官 grounding [20]。

MM1 特别有用，因为它把架构和数据选择当作可以消融的变量，而不是依赖经验传说 [19]。其分析表明，图像编码器、图像分辨率和视觉 token 数量具有显著影响，而在其设置下，连接器设计的影响相对较小。这不应被理解为连接器不重要。更安全的解释是：一旦连接器足够好，视觉证据质量和 token 预算会主导许多标准 benchmark。对于文档 OCR、grounding 或空间推理，一个较差的连接器仍然可能成为瓶颈。

这一比较有助于理解近期系统。MM1 强调对数据、编码器、分辨率和 token 数量进行受控消融 [19]；Cambrian-1 将视觉编码器本身作为核心研究变量，并引入感官 grounding 诊断 [20]；Qwen2.5-VL 推进动态分辨率和面向文档、视频的训练 [22]；InternVL3 则强调原生多模态预训练和后训练方案 [23]。因此，它们的性能提升并不能简单互换。有些提升来自更好的视觉证据，有些来自更好的训练课程，还有一些来自更强的语言侧后训练。

总体而言，这些系统使视觉分辨率成为一个一等扩展维度，而不再只是预处理细节。问题不再只是语言模型有多大，而是任务相关的像素、文本、区域和帧能否忠实地进入语言骨干网络。

输出空间同样重要。传统 VQA 输出文本，但视觉任务常常需要几何信息。Qwen-VL 对齐了图像—caption—边界框三元组，并能够输出边界框 [16]。GPT4RoI 允许用户引用区域并对选定区域进行推理 [31]。Florence-2 将多个视觉任务序列化为统一的 sequence-to-sequence 格式 [27]。LISA 引入了一个特殊分割 token，其隐藏 embedding 会被解码为掩码，从而允许语言推理产生分割结果 [32]。其设计标准比普通视觉聊天更严格：一个模型如果说“左边的红杯子”，却不能指出那个杯子，就不能算是充分 grounded。

表 1：面向视觉的 MLLM 架构选择

设计选择	代表例子	带来的好处	主要注意点
全局对比编码器	CLIP、ALIGN、SigLIP	开放词汇语义和强检索/分类特征	全局 embedding 可能丢失小文本、计数线索和物体级几何结构
冻结骨干桥接	Flamingo、BLIP-2	高效连接强预训练组件；支持视觉 few-shot 或生成	如果视觉 token 太少或过度压缩，桥接模块会成为瓶颈
简单投影/MLP	LLaVA 风格模型	成本低、易复现，并且在图像聊天上出人意料地强	可能鼓励 LLM 用语言先验填补缺失视觉细节
Query/resampler	Q-Former、Perceiver resampler	控制 token 预算，并提取紧凑视觉摘要	被选中的摘要可能遗漏查询分布未预期的证据
深度视觉专家/融合	CogVLM、视觉中心的 InternVL 变体	允许视觉特征与语言层之间更丰富交互	成本更高且更难消融；提升可能混杂数据和规模因素
结构化输出	Qwen-VL 边界框、LISA 掩码、Florence-2 序列	使语言声明在空间上可检查	类文本坐标很优雅，但精确几何上可能脆弱

6. 训练数据与目标

MLLM 需要多种数据，而每种数据会教会模型不同习惯。图像—caption 对教会模型对齐与描述。交错的图文文档教会模型进行上下文多模态阅读。OCR 和文档数据集教会模型富文本感知。区域 caption 和边界框数据教会 grounding。视频 caption 和时间 QA 数据教会运动和事件结构。指令数据教会有帮助的回答行为。偏好数据教会风格、拒答和答案选择。当模型提升时，常常很难判断提升到底来自架构、数据混合、模型规模还是 benchmark 熟悉度。

MM1 的价值在于，它报告了图像—caption、交错图文和纯文本数据的精心混合对于强 few-shot 结果至关重要 [19]。LLaVA-OneVision 也提出了一种统一方案，能够在单图像、多图像和视频场景之间迁移 [21]。Qwen2.5-VL 和 Qwen3-VL 将数据议程进一步扩展到文档、长视频、物体定位、UI 和智能体场景 [22,25]。因此，数据设计已经成为关于视觉技能的课程设计问题，而不只是收集更多图文对。

合成监督是该领域的一个显著特征。LLaVA 使用纯语言 GPT-4，根据图像 caption 和边界框生成视觉指令数据 [10]。ShareGPT4V 使用源自 GPT-4V 的详细 caption 来改进多模态对齐 [33]。这种自举策略加速了开放模型的发展，但两个风险需要保持可见。第一，学生模型可能继承教师模型的盲点、风格偏差或过度自信表达。第二，如果类似 benchmark 的样例泄漏到合成数据中，评估就会受到污染。因此，数据构建和过滤应被视为方法的一部分，而不是附录细节。

后训练正变得越来越重要。用户期待模型能够校准、不在证据不足时强答，并避免发明视觉事实。InternVL3 在原生多模态预训练之后使用监督微调和偏好优化 [23]。InternVL3.5 进一步强调强化学习式改进、视觉分辨率路由器和面向效率的部署 [24]。在这种设置下，质量不仅是预训练属性，也取决于模型如何被训练为在不确定条件下作答。

7. 视觉能力

视觉 MLLM 的主要能力不应被压缩为一个总分。一个模型可能在开放词汇识别上很强，但在空间 grounding 上较弱。它可能能够阅读印刷文本，却无法处理表格结构。它可能通过语言线索解决图示问题，而不是解释图示本身。这些能力可以分为五类。

识别与开放词汇理解。 语言监督最早带来的好处是开放词汇识别。CLIP 和 ALIGN 已经允许通过文本提示进行零样本分类 [1,2]。MLLM 将这一点进一步扩展，使类别变得更依赖语境。用户不再只是问图像中是否有狗，而可以问哪只动物看起来像是经过搜救训练的。这融合了识别、属性和世界知识。其弱点在于，语言答案隐藏了置信度。分类器会暴露概率分布；MLLM 给出的是一段话。除非模型暴露证据，否则用户可能不知道它是真的识别了物体，还是根据上下文猜测。

OCR、文档、图表和 UI。 富文本图像如今是最重要的测试场景之一。Qwen-VL 早期就强调文本读取和 grounding [16]。Qwen2.5-VL 强调从发票、表单、表格、图表、图示和版面中进行结构化提取 [22]。它们之所以重要，是因为许多真实视觉输入不是自然照片，而是截图、幻灯片、考试题、合同、工业面板和科学图像。文档理解暴露了通用图像编码器的弱点。如果图像被过度缩放，小文本就会消失；如果模型缺乏布局意识，它可能读到单词，却不知道这些单词属于哪个单元格或坐标轴。

Grounding、检测和分割。 当视觉模型的语言能够与图像区域绑定时，它就是 grounded 的。Qwen-VL 的边界框接口、GPT4RoI 的区域指令微调、Grounding DINO 的开放集检测，以及 LISA 的推理分割，从不同角度处理这一问题 [16,30-32]。共同动机是图像级表示并不足够。许多问题都是局部的：上支架的螺丝是否缺失，表格中哪个单元格数值最大，孩子手里拿着什么物体？LISA 是一个有用例子，因为它要求模型根据隐含语言查询推断目标，并生成掩码。这将语义推理与密集预测结合起来。

空间、数学和专家推理。 MathVista 和 MMMU 被提出，是因为普通 VQA 无法捕捉专家视觉推理 [38,39]。MathVista 将数学推理与视觉上下文结合，MMMU 则覆盖跨学科大学水平任务和异质图像类型。这些 benchmark 要求的不只是物体命名。模型必须解释图示、图表、方程、表格、地图或化学结构，并在其上进行推理。困难之处在于，强语言推理不会自动解决视觉推理。模型可能知道公式，却读错图示；也可能读到图表，却比较了错误的坐标轴。

视频与多图像推理。 视频增加了时间顺序、物体持续性和长上下文记忆。Flamingo 已经支持图像和视频输入 [7]，但近期模型将视频作为核心目标。LLaVA-OneVision 报告了在单图像、多图像和视频场景之间的迁移 [21]。Qwen2.5-VL 引入了长视频理解和时间编码 [22]。Qwen3-VL 和 LLaVA-OneVision-2 进一步推进长上下文、时空和自适应视频理解 [25,26]。挑战不仅在于采样多少帧。模型还必须决定记住什么、什么发生了变化，以及哪些事件具有因果相关性。

表 2：面向视觉的 MLLM 发展简明时间线

时期	代表工作	主要技术动作	对视觉的重要性
2021–2022	CLIP、ALIGN、CoCa、OFA、PaLI	网络规模图文监督；对比式与生成式目标；统一 seq2seq 接口	用语言监督替代封闭标签空间，并支持零样本视觉迁移
2022–2023 初	Flamingo、BLIP-2、Kosmos-1	冻结骨干加 resampler、Q-Former 或交叉注意力；交错图文语料	不必端到端训练，就让 LLM 风格 prompting 能用于视觉输入
2023	LLaVA、MiniGPT-4、InstructBLIP、mPLUG-Owl	使用合成或整理的指令数据进行视觉指令微调	将 VLM 转化为开放式视觉助手，并使开源复现更容易
2023 末–2024	Qwen-VL、CogVLM、InternVL、LLaVA-1.5、ShareGPT4V、Florence-2	Grounding/OCR 数据、更强视觉编码器、视觉专家、数据中心调优、序列化输出	将关注点从聊天流畅性转向视觉 grounding、高分辨率证据和数据质量
2024–2026	MM1、Cambrian-1、LLaVA-OneVision、Qwen2.5-VL、Qwen3-VL、InternVL3/3.5、LLaVA-OneVision-2	系统性消融、视觉中心编码器、原生多模态预训练、长上下文视频/文档支持、测试时策略	将 MLLM 重新定义为覆盖图像、多图像、视频、文档、UI 和空间任务的通用视觉推理系统

表 3：数据混合及其教会模型的习惯

数据类型	教会的能力	典型风险
短图像 caption	全局对齐与描述	对小物体、布局和关系较弱
详细 caption	属性、关系、更丰富的场景描述	可能继承教师幻觉或风格上的过度自信
交错文档	跨文本和图像的上下文阅读	难以区分语言记忆与视觉感知
OCR、表单、表格、图表	富文本感知和布局理解	缩放与切片选择可能决定成败
边界框、指代表达	Grounding 和局部证据	框监督可能无法迁移到掩码或细粒度属性
视频 QA/caption	时间顺序、变化检测、事件记忆	帧采样可能隐藏因果相关事件
偏好/RL 数据	有帮助性、校准、拒答风格	如果设计不当，可能奖励流畅性而非视觉忠实性

8. 评价：许多声明变得模糊的地方

评价是该领域最困难的部分，因为 MLLM 是生成式的、多模态的，并且对 prompt 敏感。MME 提出了一个覆盖感知和认知的广泛 benchmark [34]。MMBench 引入双语多选评价和循环评价，以减少选项顺序带来的伪差 [35]。SEED-Bench 使用人工标注的多选题，覆盖图像和视频维度 [36]。LVLM-eHub 评估多个能力类别，并突出开放世界失败模式 [37]。MMMU 和 MathVista 将难度提升到专家和数学推理 [38,39]。MMMU-Pro 进一步使评价更具诊断性：它过滤掉纯文本模型也能回答的问题，扩展候选选项，并加入视觉-only 输入设置，将问题嵌入图像中 [40]。

问题在于，最终答案常常是不充分确定的。假设一个模型正确回答了一道图表题。它是真的读懂了图表，知道相关事实，利用了选项中的常见模式，还是猜的？如果没有中间证据，最终准确率就是模糊的。MMMU-Pro 的重要性在于，它试图减少纯文本捷径，并促使模型更直接地整合视觉与文本证据 [40]。同样的关切也体现在 Do You See Me 中，该 benchmark 表明，正确答案仍然可能掩盖底层感知失败 [45]。

多选 benchmark 有利于复现，但它们并不中立。答案选项可能泄露线索。选项顺序可能影响输出。自由形式答案抽取可能引入错误。LLM-as-judge 评价可能引入裁判偏差。人工评价成本高且难以复现。因此，评价不应只记录答案是否正确，还应记录视觉 grounding：高亮区域、OCR 轨迹、边界框、分割掩码或分步骤视觉引用。一个因为错误视觉原因而答对的模型，不应获得与能够指出支持证据的模型相同的置信度。

这也是 benchmark 污染变得重要的地方。许多近期 MLLM 使用巨大网络数据、合成 caption、公共指令集和 benchmark 风格样例。如果训练数据记录不充分，排行榜分数可能部分衡量的是暴露程度。这并不意味着分数无用，但改变了我们理解分数的方式。因此，benchmark 结果应被视为诊断线索，而不是视觉智能的最终证明。

9. 幻觉、可靠性与安全

幻觉在视觉任务中特别有害，因为用户通常假设模型是在报告它所看见的内容。POPE 表明，大型视觉语言模型可能生成与图像不一致的物体，并提出了基于轮询的物体探测评价 [41]。HallusionBench 关注视觉错觉和知识幻觉 [42]。近期综述则将多模态幻觉划分为对视觉输入的忠实性，以及相对于世界知识的事实正确性 [43,44]。

成因是多方面的。视觉 token 可能遗漏细节。指令数据可能过度代表常见物体。LLM 先验可能压倒较弱图像证据。模型可能因为有帮助和流畅而受到奖励，而不是因为校准的不确定性。用户 prompt 也可能诱导模型进行猜测。因此，幻觉不是一个可以由单一 benchmark 修复的 bug。它是一个系统问题，涉及表示、数据、解码、后训练和用户界面。

缓解也应在系统层面设计。更好的视觉证据可以来自更高分辨率、区域特征、OCR 感知编码器和自适应 token 分配。更具可问责性的答案可以来自边界框、视觉引用、裁剪出的理由、掩码或显式不确定性。对于精度要求高的任务，模型应被允许调用专门工具，例如 OCR 引擎、检测器、分割器、几何求解器或图表解析器。一个被忽视的要求是 abstention，即拒绝或暂不回答：一个安全的视觉 MLLM 不应只是回答问题，还应知道什么时候图像不足以支持有把握的回答。

安全还包括隐私、偏见、医疗和法律解释、监控以及无障碍访问。视觉模型可能处理人脸、文档、工业场景、医学图像或用户界面。在这些场景中，一个视觉错误可能转化为现实决策。对计算机视觉而言，这使可靠性成为技术问题的一部分，而不是单独的伦理附录。GPT-4V 和 GPT-4o 的面向部署的 system card 也表达了同样观点：它们将视觉可靠性、用户风险和缓解措施视为模型评价的一部分，而不是事后补充 [47,48]。

10. 开放问题与研究方向

这些开放问题彼此相关，而不是彼此孤立。它们可以概括为六个方向。

视觉 token 经济性。 核心工程问题是，在可接受成本下，有多少视觉信息能够传递给 LLM。token 太少会导致视觉盲区；token 太多会使推理昂贵，并可能稀释注意力。动态分辨率、切片、窗口注意力、token pruning、视觉 resampling 和空间聚合，都是对这一问题的回应。该领域需要能够根据任务需求而非固定图像尺寸分配 token 的方法。

原生多模态预训练与适配。 早期方案是把纯文本 LLM 适配到视觉。这很高效，但可能让视觉成为后接模块。InternVL3 主张原生多模态预训练，使语言和多模态能力共同学习 [23]。Qwen3-VL 也反映了面向长交错多模态上下文的同样压力 [25]。现有证据表明可能存在一种分工：简单图像聊天仍可由适配方式服务，而空间推理、长视频和文档智能越来越偏向原生多模态训练。

Grounded reasoning。 许多 MLLM 可以生成类似 chain-of-thought 的解释，但解释不等于证据。对视觉而言，推理应当 grounded 于区域、时间片段、文本片段、边界框、点或掩码。一个好模型应该能够回答“图像中什么支持你的结论？”并返回视觉证据。这将 MLLM 与可解释 AI 联系起来，但标准更严格：解释必须是视觉上可检查的。

超越排行榜的评价。 排行榜有用，但当 benchmark 被污染、答案格式变化、专有模型静默更新时，它可能误导。评价应包括隐藏测试集、反事实图像编辑、视觉-only 与文本-only 控制、小物体和 OCR 压力测试，以及人类可审计的证据轨迹。MMMU-Pro 和近期感知导向 benchmark 指向了这一方向，但该领域仍需要更多诊断协议，而不只是更困难的综合分数 [40,45]。

工具使用型视觉智能体。 最有能力的系统可能不是单体模型。语言模型可以将请求路由到 OCR、检测、分割、深度估计、代码执行或网络工具。不同视觉计算需要不同归纳偏置。研究问题是如何训练这个协调者：何时直接回答，何时调用工具，以及如何将工具输出与视觉推理合并。视觉 MLLM 可能会成为一个视觉操作系统的控制器。

小型、高效和领域专用 MLLM。 前沿系统昂贵，但许多真实应用需要本地部署，例如机器人、移动 UI 智能体、医疗分诊支持、工厂检测、教育和无障碍辅助。PaliGemma 表明可迁移小型 VLM 很重要 [28]。高效 MLLM 综述也指出，压缩、剪枝、量化和 token 缩减是主要方向 [46]。最好的模型不一定是最大的模型，而是其证据质量、延迟、成本和可靠性适配任务的模型。

表 4：评价类别及其不能证明的内容

评价类别	代表 benchmark	有用信号	主要限制
一般多模态能力	MME、MMBench、SEED-Bench、LVLM-eHub	跨感知和推理的广泛比较	综合分数可能混合非常不同的技能
专家/推理任务	MMMU、MMMU-Pro、MathVista	大学水平知识、图示、图表、数学、领域图像	如果没有证据轨迹，仍然难以区分感知与推理
幻觉/忠实性	POPE、HallusionBench	生成物体或事实是否由图像支持	通常只关注特定幻觉类型
Grounding 与密集输出	RefCOCO 变体、区域级 VQA、推理分割	边界框、掩码、点、指代表达	开放式对话 grounding 仍然难以评分
视频和多图像	Video-MME、MLVU、SEED-Bench 的视频维度	时间顺序、事件定位、跨图像比较	对帧采样和上下文长度敏感

11. 结论

面向视觉的 MLLM 已经从图文表示学习，发展为能够阅读文档、讨论图像、定位物体、推理图示、比较多张图像和处理视频的系统。该领域最强的思想不是语言取代视觉，而是语言能够以灵活方式指定、组合和解释视觉任务。它最弱的地方也与同一机制相连：流畅的语言可能掩盖薄弱的感知。

下一阶段应当以 grounding 而不是 eloquence 来评价。强大的视觉 MLLM 将需要更好的视觉编码器、自适应 token 分配、原生多模态训练、结构化输出、可靠工具使用和诊断式评价。更重要的是，它们应当使自身视觉证据可检查。对计算机视觉而言，这是真正的转变。研究对象不再只是如何识别像素，而是如何构建能够在视觉世界中感知、推理、交流并保持可问责的系统。

参考文献

[1] A. Radford, J. W. Kim, C. Hallacy, A. Ramesh, G. Goh, S. Agarwal, G. Sastry, A. Askell, P. Mishkin, J. Clark, G. Krueger, and I. Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.

[2] C. Jia, Y. Yang, Y. Xia, Y.-T. Chen, Z. Parekh, H. Pham, Q. V. Le, Y.-H. Sung, Z. Li, and T. Duerig. Scaling up visual and vision-language representation learning with noisy text supervision. In ICML, 2021.

[3] J. Yu, Z. Wang, V. Vasudevan, L. Yeung, M. Seyedhosseini, and Y. Wu. CoCa: Contrastive captioners are image-text foundation models. arXiv:2205.01917, 2022.

[4] P. Wang, A. Yang, R. Men, J. Lin, S. Bai, Z. Li, J. Ma, C. Zhou, J. Zhou, and H. Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In ICML, 2022.

[5] X. Chen, X. Wang, S. Changpinyo, A. J. Piergiovanni, P. Padlewski, D. Salz, S. Goodman, A. Grycner, B. Mustafa, L. Beyer, et al. PaLI: A jointly-scaled multilingual language-image model. arXiv:2209.06794, 2022.

[6] X. Zhai, B. Mustafa, A. Kolesnikov, and L. Beyer. Sigmoid loss for language image pre-training. In ICCV, 2023.

[7] J.-B. Alayrac, J. Donahue, P. Luc, A. Miech, I. Barr, Y. Hasson, K. Lenc, A. Mensch, K. Millican, M. Reynolds, et al. Flamingo: a visual language model for few-shot learning. In NeurIPS, 2022.

[8] J. Li, D. Li, S. Savarese, and S. Hoi. BLIP-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. In ICML, 2023.

[9] S. Huang, L. Dong, W. Wang, Y. Hao, S. Singhal, S. Ma, T. Lv, L. Cui, O. K. Mohammed, B. Patra, et al. Language is not all you need: Aligning perception with language models. In NeurIPS, 2023.

[10] H. Liu, C. Li, Q. Wu, and Y. J. Lee. Visual instruction tuning. In NeurIPS, 2023.

[11] D. Zhu, J. Chen, X. Shen, X. Li, and M. Elhoseiny. MiniGPT-4: Enhancing vision-language understanding with advanced large language models. In ICLR, 2024.

[12] W. Dai, J. Li, D. Li, A. M. H. Tiong, J. Zhao, W. Wang, B. Li, P. Fung, and S. Hoi. InstructBLIP: Towards general-purpose vision-language models with instruction tuning. In NeurIPS, 2023.

[13] Q. Ye, H. Xu, G. Xu, J. Ye, M. Yan, Y. Zhou, J. Wang, A. Hu, P. Shi, Y. Shi, et al. mPLUG-Owl: Modularization empowers large language models with multimodality. arXiv:2304.14178, 2023.

[14] Q. Ye, H. Xu, J. Ye, M. Yan, A. Hu, H. Liu, Q. Qian, J. Zhang, F. Huang, and J. Zhou. mPLUG-Owl2: Revolutionizing multi-modal large language model with modality collaboration. arXiv:2311.04257, 2023.

[15] H. Liu, C. Li, Y. Li, and Y. J. Lee. Improved baselines with visual instruction tuning. In CVPR, 2024.

[16] J. Bai, S. Bai, S. Yang, S. Wang, P. Wang, X. Liu, J. Lin, C. Zhou, and J. Zhou. Qwen-VL: A versatile vision-language model for understanding, localization, text reading, and beyond. arXiv:2308.12966, 2023.

[17] W. Wang, Q. Lv, W. Yu, W. Hong, J. Qi, Y. Wang, J. Ji, Z. Yang, L. Zhao, X. Song, et al. CogVLM: Visual expert for pretrained language models. In NeurIPS, 2024.

[18] Z. Chen, J. Wu, W. Wang, W. Su, G. Chen, S. Xing, M. Zhong, Q. Zhang, X. Zhu, L. Lu, et al. InternVL: Scaling up vision foundation models and aligning for generic visual-linguistic tasks. In CVPR, 2024.

[19] B. McKinzie, Z. Gan, J.-P. Fauconnier, S. Dodge, B. Zhang, P. Dufter, D. Shah, X. Du, F. Peng, F. Weers, et al. MM1: Methods, analysis and insights from multimodal LLM pre-training. arXiv:2403.09611, 2024.

[20] S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Yang, A. Iyer, X. Pan, et al. Cambrian-1: A fully open, vision-centric exploration of multimodal LLMs. arXiv:2406.16860, 2024.

[21] B. Li, Y. Zhang, D. Guo, R. Zhang, F. Li, H. Zhang, K. Zhang, P. Zhang, Y. Li, Z. Liu, and C. Li. LLaVA-OneVision: Easy visual task transfer. arXiv:2408.03326, 2024.

[22] S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S. Wang, J. Tang, et al. Qwen2.5-VL technical report. arXiv:2502.13923, 2025.

[23] J. Zhu, W. Wang, Z. Chen, Z. Liu, S. Ye, L. Gu, Y. Duan, H. Tian, W. Su, J. Shao, et al. InternVL3: Exploring advanced training and test-time recipes for open-source multimodal models. arXiv:2504.10479, 2025.

[24] W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Shao, et al. InternVL3.5: Advancing open-source multimodal models in versatility, reasoning, and efficiency. arXiv:2508.18265, 2025.

[25] S. Bai, Y. Cai, R. Chen, K. Chen, X. Chen, Z. Cheng, L. Deng, W. Ding, C. Gao, C. Ge, et al. Qwen3-VL technical report. arXiv:2511.21631, 2025.

[26] X. An, Y. Xie, F. Tang, Y. Yan, H. Tan, D. Zhu, C. Chen, X. Zhao, B. Qin, K. Yang, et al. LLaVA-OneVision-2: Towards next-generation perceptual intelligence. arXiv:2605.25979, 2026.

[27] B. Xiao, H. Wu, W. Xu, X. Dai, H. Hu, Y. Lu, M. Zeng, C. Liu, and L. Yuan. Florence-2: Advancing a unified representation for a variety of vision tasks. In CVPR, 2024.

[28] L. Beyer, A. Steiner, A. S. Pinto, A. Kolesnikov, X. Wang, D. Salz, M. Neumann, I. Alabdulmohsin, M. Tschannen, E. Bugliarello, et al. PaliGemma: A versatile 3B VLM for transfer. arXiv:2407.07726, 2024.

[29] A. Kirillov, E. Mintun, N. Ravi, H. Mao, C. Rolland, L. Gustafson, T. Xiao, S. Whitehead, A. C. Berg, W.-Y. Lo, P. Dollar, and R. Girshick. Segment anything. In ICCV, 2023.

[30] S. Liu, Z. Zeng, T. Ren, F. Li, H. Zhang, J. Yang, Q. Jiang, C. Li, J. Yang, H. Su, J. Zhu, and L. Zhang. Grounding DINO: Marrying DINO with grounded pre-training for open-set object detection. In ECCV, 2024.

[31] S. Zhang, P. Sun, S. Chen, M. Xiao, W. Shao, W. Zhang, Y. Liu, K. Chen, and P. Luo. GPT4RoI: Instruction tuning large language model on region-of-interest. arXiv:2307.03601, 2023.

[32] X. Lai, Z. Tian, Y. Chen, Y. Li, Y. Yuan, S. Liu, and J. Jia. LISA: Reasoning segmentation via large language model. In CVPR, 2024.

[33] L. Chen, J. Li, X. Dong, P. Zhang, C. He, J. Wang, F. Zhao, and D. Lin. ShareGPT4V: Improving large multi-modal models with better captions. In ECCV, 2024.

[34] C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, K. Li, X. Sun, Y. Wu, and R. Ji. MME: A comprehensive evaluation benchmark for multimodal large language models. arXiv:2306.13394, 2023.

[35] Y. Liu, H. Duan, Y. Zhang, B. Li, S. Zhang, W. Zhao, Y. Yuan, J. Wang, C. He, Z. Liu, K. Chen, and D. Lin. MMBench: Is your multi-modal model an all-around player? In ECCV, 2024.

[36] B. Li, R. Wang, G. Wang, Y. Ge, Y. Ge, and Y. Shan. SEED-Bench: Benchmarking multimodal LLMs with generative comprehension. In CVPR, 2024.

[37] P. Xu, W. Shao, K. Zhang, P. Gao, S. Liu, M. Lei, F. Meng, S. Huang, Y. Qiao, and P. Luo. LVLM-eHub: A comprehensive evaluation benchmark for large vision-language models. arXiv:2306.09265, 2023.

[38] X. Yue, Y. Ni, K. Zhang, T. Zheng, R. Liu, G. Zhang, S. Stevens, D. Jiang, W. Ren, Y. Sun, et al. MMMU: A massive multi-discipline multimodal understanding and reasoning benchmark for expert AGI. In CVPR, 2024.

[39] P. Lu, H. Bansal, T. Xia, J. Liu, C. Li, H. Hajishirzi, H. Cheng, K.-W. Chang, M. Galley, and J. Gao. MathVista: Evaluating mathematical reasoning of foundation models in visual contexts. In ICLR, 2024.

[40] X. Yue, T. Zheng, Y. Ni, Y. Wang, K. Zhang, S. Tong, Y. Sun, B. Yu, G. Zhang, H. Sun, et al. MMMU-Pro: A more robust multi-discipline multimodal understanding benchmark. In ACL, 2025.

[41] Y. Li, Y. Du, K. Zhou, J. Wang, W. X. Zhao, and J.-R. Wen. Evaluating object hallucination in large vision-language models. In EMNLP, 2023.

[42] T. Guan, F. Liu, X. Wu, R. Xian, Z. Li, X. Liu, X. Wang, L. Chen, F. Huang, Y. Yacoob, D. Manocha, and T. Zhou. HallusionBench: An advanced diagnostic suite for entangled language hallucination and visual illusion in large vision-language models. arXiv:2310.14566, 2023.

[43] Z. Bai, P. Wang, T. Xiao, T. He, Z. Han, Z. Zhang, and M. Z. Shou. Hallucination of multimodal large language models: A survey. arXiv:2404.18930, 2024.

[44] Z. Chen, Y. Min, J. Zhang, B. Yan, J. Wang, X. Wang, and S. Shan. A survey of multimodal hallucination evaluation and detection. arXiv:2507.19024, 2025.

[45] A. Kanade and T. Ganu. Do You See Me: A multidimensional benchmark for evaluating visual perception in multimodal LLMs. arXiv:2506.02022, 2025.

[46] Y. Jin, J. Li, Y. Liu, T. Gu, K. Wu, Z. Jiang, M. He, B. Zhao, X. Tan, Z. Gan, Y. Wang, C. Wang, and L. Ma. Efficient multimodal large language models: A survey. arXiv:2405.10739, 2024.

[47] OpenAI. GPT-4V(ision) system card. 2023.

[48] OpenAI. GPT-4o system card. arXiv:2410.21276, 2024.

[49] Gemini Team. Gemini: A family of highly capable multimodal models. arXiv:2312.11805, 2023.