长视频如何实现信息压缩与细节

视频生成的"超强记忆术"：揭秘长视频如何实现信息压缩与细节还原

1. 引言：视频生成的"健忘症"挑战

AI 视频生成有个根本问题：模型记不住东西。想象一下，让你同时记住 1000 张照片里每个细节，在第 1001 张时还能完全还原第一张的内容，窗台上的花盆纹路、地毯的颜色分毫不差，这根本做不到。

计算机也一样。不管理记忆，每多一帧计算量就爆炸。结果就是模型出现"健忘症"：镜头切走再回来，盆栽没了，街道变样了。

本文以 Wanx-2.1-1.3B（万象）模型为例，讲讲视频生成模型怎么通过"记忆压缩"在低算力下实现长视频的时空连贯。

2. 核心逻辑：从 1000 帧到 20 个核心点

存原始数据不现实。Wanx-2.1-1.3B 的做法是：不管历史多长（超过 1000 帧也行），都压成 20 个核心信息点（Latents）。

1000+ 帧压成 20 个 Latents，这个比例是算过账的。Wanx 基础模型在标准文生视频模式下，每一步本来就只能生成 20 个 Latents。历史记忆也压到 20 个，拼接后计算量只增加 2 倍左右。不会随帧数无限增长。

3. 技术深挖：双层压缩怎么运作

靠的是"双层下采样"。总时间轴下采样率 16 倍，平衡计算量和画质。

原始方案 (Naive Self-Attention) vs 双层压缩方案 (Double-Layer)：

- 计算量增长：原始方案随历史长度快速增长，容易爆炸；双层方案增长缓慢，维持在 2 倍左右

- 时间分辨率：原始方案全部 1000 帧参与计算；双层方案压成 20 个核心 Latents

- 记忆能力：原始方案只有短期记忆；双层方案能撑 1000+ 帧场景

关于 VAE 对齐

压缩时空间维度（H 和 W）不变，只在时间维度下采样两次（每次 4 倍，共 16 倍）。

这个 4 倍时间下采样率对齐了 Wanx 原有 VAE 在时序维度的压缩比，特征提取能保持一致。

没压缩 H 和 W 是为了保画质。实验发现空间维度压缩对效果影响不大，所以目前的策略是优先保住空间细节，压力全给时间维度。

4. 训练方法：用"回环数据"激活记忆

有了压缩结构还不够，得通过"回环视频数据"（RDD, Recurrent Video Data）来训练模型还原记忆的能力。

研究人员拍了 30 分钟的回环场景：拍摄者在街上游走，每隔几秒做一次 360 度旋转，回到之前拍过的片段。

30 分钟数据就够用了。训练中用了不确定性估计（Uncertainty Estimation），帮模型区分哪些是确定的历史背景，哪些是干扰。

回环微调后，模型有了三个能力：

1. 空间重建：物体完全切出画面，模型也能按记忆在原位重建。

2. 动作响应：对控制指令（比如键盘操作）的反应更快。

3. 确定性提取：用不确定性估计过滤冗余信息，只留关键线索。

5. 实际效果

"盆栽案例"：镜头在房间里大范围移动后完全切走，几十秒后再回来，盆栽的纹理和位置还能对上，没塌。

用户盲测中，这个模型在长程一致性上比混元 (Hunyuan) 和 Matrix Game 更满意。

目前的局限

- 色彩漂移：没做 DMT 蒸馏加速，视频越长越可能出现色彩偏差。

- 数据采集：高质量 RDD 回环数据还是靠人工拍，没法完全自动化量产。

- 评测标准：行业里缺评估长程视频能力的自动 Benchmark，现在主要靠用户盲测。

6. 总结

压缩是为了更高效的提取，不是丢信息。双层下采样把历史对齐到 20 个 Latents，加上 RDD 回环微调，视频生成模型从"短期记忆"走向"长效环境感知"。

这套思路不光能用于视频，自动驾驶、虚拟现实这些需要长期环境认知的场景也能用。

核心要点：

- 20 Latents 预算：强制对齐基础模型生成规模，长视频计算开销控制在 2 倍

- 16x 时间压缩：双层 4x 下采样对齐 VAE 结构

- RDD 微调与不确定性估计：30 分钟数据就能激活空间重建和噪音过滤能力