针对I2V质量评价方法调研报告

针对I2V质量评价方法调研报告

1.有代码/模型可复现
2.支持I2V任务
3.使用MLLM

VBench++

论文：VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models
发表：TPAMI 2025
代码：https://github.com/Vchitect/VBench

还是主要使用传统 CV 模型作为评估器，只不过增加了I2V。

动机

1. VBench 仅支持 T2V：实际应用中 I2V、长视频生成同样重要，需要统一评测框架
2. 缺乏可信性评估：生成视频可能包含偏见、有害内容、版权问题，需要专门评测

方法

I2V 评测核心维度：主体身份保持（DINO/CLIP 特征）、场景一致性、运动自然度（光流分析）、时序连贯性、可信性（安全检测）。

优点

• 首个系统性地为 I2V 评测设计专门框架
• 引入可信性维度，为视频生成安全部署提供评测基础
• 覆盖 T2V、I2V、长视频生成，保持向后兼容

缺点

• 仍主要依赖传统 CV 模型，未充分利用 MLLM
• I2V 评测维度可能未完全覆盖所有 I2V 特有挑战
• 可信性评测仍处于早期阶段
• 长视频评测能力有限

与其他论文的区别

• 保持传统 CV 模型路线同时扩展维度
• 新增可信性维度

VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness

论文：VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness
代码：https://github.com/Vchitect/VBench

除了传统cv模型，用了LLaVA-Video-7B-Qwen2和Qwen2.5-7B-Ininstruction测了运动合理性等指标。

动机

1. 现有评测停留在表面质量：主要评估"像不像"，缺乏对内在真实性（物理规律、因果关系）的评测
2. I2V 评测需求增长：SVD、CogVideoX 等 I2V 模型大量涌现，需要专门评测框架
3. 自动指标与人类偏好仍有差距：需要更贴近人类判断的评估维度

方法

在 VBench 1.0 基础上新增/强化 I2V 特有维度：

• 首帧保真度：生成视频首帧与输入图像的一致性
• 主体保持度：视频中主体对象在输入图像中的语义/外观保持
• 运动合理性：生成运动是否符合物理规律

优点

• 聚焦内在真实性（物理规律、因果关系），超越表面质量评估
• 评估"行为是否合理"而非仅"外观是否像"

缺点

• 物理合理性评估仍有限，需要更复杂的评估模型
• 复杂因果关系的评估能力有限
• 与人类判断的对齐验证尚不充分

与其他论文的区别

• 聚焦内在真实性（物理、因果）
• 超越 VBench 和 VBench++ 的表面质量与对齐评估
• 比 EvalCrafter、Video-Bench 更强调物理正确性

Video-Bench（MLLM框架）

论文：Video-Bench: Human-Aligned Video Generation Benchmark
发表：CVPR 2025
代码：https://github.com/Video-Bench/Video-Bench

提出了一个系统化的MLLM框架，以增强模型直接理解视频内容和评估质量的能力，实验用的GPT-4o。

动机

1. 传统指标与人类偏好脱节：FVD、CLIP Score 等与人类判断的相关性低
2. 现有 LLM-based 方法理解有限：对视频质量指标和跨模态一致性的理解深度不够
3. 评测维度不全面：现有基准要么只评视觉质量，要么只评条件对齐

方法

双维度评估框架：

维度大类	具体维度
视频-条件对齐	对象匹配、属性匹配、动作匹配、空间关系、风格匹配
视频质量	画面清晰度、时序连贯性、运动合理性、美学质量、无伪影

两大 MLLM 驱动技术：

1. Chain-of-Query（链式查询）：分步查询 MLLM（先问对象→再问一致性→综合判断），类似人类逐步分析
2. Few-shot Scoring（少样本评分）：给 MLLM 展示少量已标注的"好/中/差"示例，参照评分

与人类偏好的 Spearman 相关系数达到 0.733。

优点

• 首个全面以 MLLM 为核心评估器的工作
• Chain-of-Query 提升可解释性和准确性
• Few-shot Scoring 通过参照示例提升评分一致性
• 高人类对齐度（Spearman 0.733），显著优于传统方法
• 支持 T2V 和 I2V 评测

缺点

• 强依赖底层 MLLM 质量，不同 MLLM 可能导致不同结果
• 逐维度运行 MLLM 查询，计算成本高

与其他论文的区别

• 以 MLLM 为核心评估器，人类对齐度更高

VideoScore（微调 MLLM 的方法）

论文：VideoScore: Building Automatic Metrics to Simulate Fine-grained Human Feedback for Video Generation
发表：EMNLP 2024
代码：https://github.com/TIGER-AI-Lab/VideoScore

微调Mantis-8B-Idefics2构建的评估器。

动机

1. 自动视频指标发展滞后：没有现有指标能够对生成视频给出可靠分数
2. 核心瓶颈是缺乏大规模人类标注数据集：训练可靠的自动评估器需要大量多维度的人类反馈数据
3. RLHF 需要可靠的奖励模型：视频生成模型的强化学习优化需要模拟人类偏好的自动评分器

方法

构建 VideoFeedback 数据集：37,600 个合成视频、11 个视频生成模型、多维度人类评分。

五维评估体系：视觉质量、时序一致性、动态程度、文本对齐、综合得分（各 1.0–4.0 分）。

模型基于 Mantis（多模态 LLM）初始化，通过 VideoFeedback 数据集微调。Spearman 相关系数达到 77.1，比之前最佳指标高约 50 个百分点，可作为 RLHF 的奖励模型使用。

优点

• 大规模数据集（37,600 视频，11 个模型），多维度人类评分
• Spearman 相关系数 77.1，显著优于传统指标
• 可直接用作 RLHF/DPO 训练的奖励模型
• 后续版本 VideoScore2 进一步改进

与其他论文的区别

• 微调 MLLM ，主要讲的是训练这样一个评估模型的方法

Q-Align（微调 MLLM 的方法，提供hf模型）

论文：Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels
发表：ICML 2024
代码：https://github.com/Q-Future/Q-Align

动机

1. LMM 有潜力做视觉评分，但缺乏训练方法：GPT-4V 等模型展示了初级视觉质量感知能力，但准确性不足
2. 人类评分的本质是离散等级判断：人类评估者使用离散的文字描述等级（如"极好/好/一般/差/极差"），而非精确数值
3. 直接让 LMM 预测分数效果不佳：连续分数预测与 LLM 的文本生成范式不匹配

方法

离散文字等级教学法：定义 5 个离散质量等级，每个等级用文字描述，让 LMM 学习在这些等级中选择最匹配的描述。

统一模型 OneAlign：将图像质量评估（IQA）、图像美学评估（IAA）、视频质量评估（VQA）三个任务统一到一个模型中。在三个任务上均达到 SOTA，离散等级方法显著优于直接预测分数的方法。

优点

• 离散文字等级范式桥接了 LMM 文本处理与连续质量分数的鸿沟
• 统一模型 OneAlign 同时处理 IQA、IAA、VQA 三个任务
• 支持 HuggingFace 免安装使用，LoRA 微调仅需 2 块 RTX 3090
• 跨失真类型和内容的泛化能力强

缺点

• 依赖 mPLUG-Owl2 架构

优点

• 大规模数据集（200K 低层视觉质量指令样本）
• 支持多种 MLLM 架构，通用性强
• 提供微调好的 checkpoint 和 Scorer API，便于部署
• 与 Q-Bench、Q-Align 形成完整的"评估-改进-验证"闭环

FineVQ（预训练的权重）

论文：FineVQ: Fine-Grained User Generated Content Video Quality Assessment
发表：CVPR 2025 (Spotlight)
代码：https://github.com/IntMeGroup/FineVQ

动机

1. 现有 VQA 只给总分：缺乏细粒度的质量描述
2. UGC 视频质量问题多样：模糊、抖动、曝光、压缩伪影等需要分别评估
3. 缺乏细粒度标注数据

方法

构建 FineVD 数据集：6,104 个 UGC 视频，每个多维度质量分数和文字描述。

三合一评估能力：

• 质量评级：离散等级（差/一般/好/极好）
• 质量评分：各维度精确分数
• 质量归因：具体指出哪里有问题、为什么

架构：视频 → 3D-CNN 时空特征提取 → 文本特征对齐 → LLM 推理 → 多维质量输出。使用 3D-CNN 捕捉时空特征，比传统 2D 网络多出约 37% 的运动信息。

优点

• 首个大规模细粒度 UGC 视频质量评估数据集（FineVD）
• 三合一能力覆盖不同用户需求
• 3D-CNN 有效捕捉时空特征，运动信息捕捉提升 37%
• 质量归因功能提供可操作的质量问题洞察
• 在 UGC 视频质量评估基准上达到 SOTA

缺点

• 专注 UGC 视频，泛化到 AI 生成视频可能不足
• 主要在中国 UGC 平台评估，跨文化泛化不确定

与其他论文的区别

• 使用 3D-CNN 做时序建模，而非 Transformer